首页 > 图书中心 >图书详情

高效卷积神经网络的结构设计与优化

介绍卷积神经网络基础模型的新式基本架构、组件和压缩方法,简单易懂,无需艰深的数学知识。作者曾获百度奖学金等业界知名荣誉,在国际学术界和工业界有一定认可度。

作者:丁霄汉
丛书名:清华大学优秀博士学位论文丛书
定价:79
印次:1-1
ISBN:9787302673187
出版日期:2024.09.01
印刷日期:2024.09.26

"随着深度学习相关技术的发展,特别是卷积神经网络技术的成熟,深度学习已经成为多种计算机视觉任务的常用工具。卷积神经网络模型由于其强大的表征能力,可以作为一种优秀主干模型,但往往以较大的参数量和计算量为代价。 本书从基本架构设计、新式通用组件、模型压缩方法三个方面着手,试图普遍地、一般地提升卷积神经网络的精度和效率。书中介绍的方法与深度学习实践联系紧密:现实生活中的视觉应用一般要求在一定的推理延迟、吞吐量、模型大小和功耗的约束下尽可能追求更高的精度,所以开发者既可以应用一种新的架构,可以用一些新式组件来提升现有架构,亦可以对一个精度更高也更大的模型应用压缩技术使之满足既定的效率约束条件。本书聚焦基础,所提出的“结构重参数化”理论、新式模型结构和模型压缩方法可以广泛用于多种模型和多种任务。 本书可为机器学习和计算机视觉领域的初学者和具备一定基础的工程技术人员及研究人员提供参考。"

more >

导师序言 丁霄汉博士的研究聚焦于卷积神经网络的结构设计与优化。这一领域是深度学习技术的研究热点之一,相关技术成果对于推动人工智能技术的应用落地起到了积极作用。 本书针对卷积神经网络的模型结构设计及压缩优化问题开展研究工作,选题具有重要的理论意义和实际应用价值。全书的主要工作及贡献如下:在卷积神经网络架构设计层面,设计了一种简单高效的卷积神经网络架构RepVGG,提出了结构重参数化的模型训练方法,实现训练时的复杂模型到推理时的简单模型的等价转化;在卷积网络组件层面,给出了一种非对称卷积模块设计方法,提出了一种重参数化大卷积核模块,实验验证了所提出的卷积组件的有效性;在模型压缩方面,提出了一种基于优化过程的向心随机梯度下降模型压缩方法,并进一步提出了一种基于结构重参数化的模型剪枝方法,实验验证了所提模型压缩方法的有效性。 本书反映出作者掌握了本专业坚实的基础理论和良好的专业技能,表明作者能独立地开展相关领域的理论研究工作和技术攻关工作,具有优秀的科学研究能力和独立解决问题的能力,全书逻辑结构清晰,文字表达流畅,达到博士研究生的要求。我相信本书的出版将为广大学者和从业者提供启示,并助力机器学习和计算机视觉等相关领域的发展。 丁贵广,博士 清华大学软件学院长聘教授 清华大学信息科学与技术国家研究中心副主任

more >
扫描二维码
下载APP了解更多

同系列产品more >

钠离子电池新型碳基电极及其界面研...

张俊
定 价:89元

查看详情
互联网域名体系安全技术测量研究

陆超逸
定 价:89元

查看详情
建筑环境人体热适应规律与调节机理...

罗茂辉
定 价:119元

查看详情
从随机对照到自然实验——实验方法...

任思腾
定 价:69元

查看详情
论个人私密信息——以个人私密信息...

张璐
定 价:99元

查看详情
图书分类全部图书
more >
  • 丁霄汉,工学博士,2022年6月毕业于清华大学软件学院,研究领域为机器学习和计算机视觉的通用模型、基本工具、基础理论。曾获百度奖学金(2019)、国家奖学金、英特尔奖学金等。

  • 本书获评“清华大学优秀博士学位论文”,本书从基本架构设计、新式通用组件、模型压缩方法三个方面着手,试图普遍地、一般地提升卷积神经网络的精度和效率。

more >
  • 目   录

    第 1 章 绪论  1

    1.1 研究背景与意义   1

    1.2 国内外研究现状  5

    1.2.1 基本架构设计  5

    1.2.2 新式通用组件  7

    1.2.3 通道剪枝方法  8

    1.2.4 其他模型压缩方法  9

    1.3 研究内容和主要贡献  10

    1.3.1 基本架构设计  10

    1.3.2 新式通用组件  11

    1.3.3 通道剪枝方法  13

    1.4 符号系统  14

    1.5 本书的组织结构  15

    第 2 章 基于结构重参数化的极简架构  17

    2.1 本章引言  17

    2.2 相关工作  20

    2.2.1 单路架构的训练方法  20

    2.2.2 重参数化  21

    2.2.3 Winograd 卷积算法  21

    2.3 结构重参数化  22

    2.4 RepVGG:基于结构重参数化的极简架构  26

    2.4.1 效率分析  26

    2.4.2 架构详细定义  27

    2.5 实验分析  29

    2.5.1 ImageNet 分类实验  29

    2.5.2 消融和对比实验  31

    2.5.3 语义分割实验  33

    2.6 本章小结  34

    第 3 章 非对称卷积模块  36

    3.1 本章引言  36

    3.2 相关工作  38

    3.2.1 非对称卷积  38

    3.2.2 多架构通用的基本组件  39

    3.3 对卷积核内部空间位置的定量分析  39

    3.4 非对称卷积模块  41

    3.4.1 卷积的广义可加性  41

    3.4.2 非对称卷积模块的结构和转换 43

    3.5 实验分析  45

    ...

精彩书评more >

标题

评论

版权所有(C)2023 清华大学出版社有限公司 京ICP备10035462号 京公网安备11010802042911号

联系我们 | 网站地图 | 法律声明 | 友情链接 | 盗版举报 | 人才招聘