首页 > 图书中心 >图书详情
高效卷积神经网络的结构设计与优化
作者:丁霄汉
丛书名:清华大学优秀博士学位论文丛书
定价:79元
印次:1-1
ISBN:9787302673187
出版日期:2024.09.01
印刷日期:2024.09.26
"随着深度学习相关技术的发展,特别是卷积神经网络技术的成熟,深度学习已经成为多种计算机视觉任务的常用工具。卷积神经网络模型由于其强大的表征能力,可以作为一种优秀主干模型,但往往以较大的参数量和计算量为代价。 本书从基本架构设计、新式通用组件、模型压缩方法三个方面着手,试图普遍地、一般地提升卷积神经网络的精度和效率。书中介绍的方法与深度学习实践联系紧密:现实生活中的视觉应用一般要求在一定的推理延迟、吞吐量、模型大小和功耗的约束下尽可能追求更高的精度,所以开发者既可以应用一种新的架构,可以用一些新式组件来提升现有架构,亦可以对一个精度更高也更大的模型应用压缩技术使之满足既定的效率约束条件。本书聚焦基础,所提出的“结构重参数化”理论、新式模型结构和模型压缩方法可以广泛用于多种模型和多种任务。 本书可为机器学习和计算机视觉领域的初学者和具备一定基础的工程技术人员及研究人员提供参考。"
more >导师序言 丁霄汉博士的研究聚焦于卷积神经网络的结构设计与优化。这一领域是深度学习技术的研究热点之一,相关技术成果对于推动人工智能技术的应用落地起到了积极作用。 本书针对卷积神经网络的模型结构设计及压缩优化问题开展研究工作,选题具有重要的理论意义和实际应用价值。全书的主要工作及贡献如下:在卷积神经网络架构设计层面,设计了一种简单高效的卷积神经网络架构RepVGG,提出了结构重参数化的模型训练方法,实现训练时的复杂模型到推理时的简单模型的等价转化;在卷积网络组件层面,给出了一种非对称卷积模块设计方法,提出了一种重参数化大卷积核模块,实验验证了所提出的卷积组件的有效性;在模型压缩方面,提出了一种基于优化过程的向心随机梯度下降模型压缩方法,并进一步提出了一种基于结构重参数化的模型剪枝方法,实验验证了所提模型压缩方法的有效性。 本书反映出作者掌握了本专业坚实的基础理论和良好的专业技能,表明作者能独立地开展相关领域的理论研究工作和技术攻关工作,具有优秀的科学研究能力和独立解决问题的能力,全书逻辑结构清晰,文字表达流畅,达到博士研究生的要求。我相信本书的出版将为广大学者和从业者提供启示,并助力机器学习和计算机视觉等相关领域的发展。 丁贵广,博士 清华大学软件学院长聘教授 清华大学信息科学与技术国家研究中心副主任
more >