导师序言
丁霄汉博士的研究聚焦于卷积神经网络的结构设计与优化。这一领域是深度学习技术的研究热点之一,相关技术成果对于推动人工智能技术的应用落地起到了积极作用。
本书针对卷积神经网络的模型结构设计及压缩优化问题开展研究工作,选题具有重要的理论意义和实际应用价值。全书的主要工作及贡献如下:在卷积神经网络架构设计层面,设计了一种简单高效的卷积神经网络架构RepVGG,提出了结构重参数化的模型训练方法,实现训练时的复杂模型到推理时的简单模型的等价转化;在卷积网络组件层面,给出了一种非对称卷积模块设计方法,提出了一种重参数化大卷积核模块,实验验证了所提出的卷积组件的有效性;在模型压缩方面,提出了一种基于优化过程的向心随机梯度下降模型压缩方法,并进一步提出了一种基于结构重参数化的模型剪枝方法,实验验证了所提模型压缩方法的有效性。
本书反映出作者掌握了本专业坚实的基础理论和良好的专业技能,表明作者能独立地开展相关领域的理论研究工作和技术攻关工作,具有优秀的科学研究能力和独立解决问题的能力,全书逻辑结构清晰,文字表达流畅,达到博士研究生的要求。我相信本书的出版将为广大学者和从业者提供启示,并助力机器学习和计算机视觉等相关领域的发展。
丁贵广,博士
清华大学软件学院长聘教授
清华大学信息科学与技术国家研究中心副主任