目   录

第 1 章 绪论  1

1.1 研究背景与意义   1

1.2 国内外研究现状  5

1.2.1 基本架构设计  5

1.2.2 新式通用组件  7

1.2.3 通道剪枝方法  8

1.2.4 其他模型压缩方法  9

1.3 研究内容和主要贡献  10

1.3.1 基本架构设计  10

1.3.2 新式通用组件  11

1.3.3 通道剪枝方法  13

1.4 符号系统  14

1.5 本书的组织结构  15

第 2 章 基于结构重参数化的极简架构  17

2.1 本章引言  17

2.2 相关工作  20

2.2.1 单路架构的训练方法  20

2.2.2 重参数化  21

2.2.3 Winograd 卷积算法  21

2.3 结构重参数化  22

2.4 RepVGG：基于结构重参数化的极简架构  26

2.4.1 效率分析  26

2.4.2 架构详细定义  27

2.5 实验分析  29

2.5.1 ImageNet 分类实验  29

2.5.2 消融和对比实验  31

2.5.3 语义分割实验  33

2.6 本章小结  34

第 3 章 非对称卷积模块  36

3.1 本章引言  36

3.2 相关工作  38

3.2.1 非对称卷积  38

3.2.2 多架构通用的基本组件  39

3.3 对卷积核内部空间位置的定量分析  39

3.4 非对称卷积模块  41

3.4.1 卷积的广义可加性  41

3.4.2 非对称卷积模块的结构和转换 43

3.5 实验分析  45

3.5.1 CIFAR 实验  45

3.5.2 ImageNet 实验  45

3.5.3 消融实验  47

3.5.4 ACB 卷积核的定量分析  48

3.6 本章小结  50

第 4 章 重参数化大卷积核模块  51

4.1 本章引言  51

4.2 相关工作  53

4.2.1 单层大感受野模型  53

4.2.2 模型放大技术. 53

4.3 应用大卷积核的五条准则  53

4.4 RepLKB：一种大卷积核组件  58

4.5 实验分析  59

4.5.1 RepLKNet 上增大卷积核尺寸的实验  59

4.5.2 ImageNet 图像分类  61 

4.5.3 语义分割  62

4.5.4 目标检测  62

4.6 讨论  64

4.6.1 有效感受野  64

4.6.2 形状偏好  65

4.7 本章小结  67

第 5 章 用于通道剪枝的向心随机梯度下降算法  68

5.1 本章引言  68

5.2 相关工作  71

5.3 向心随机梯度下降  72

5.3.1 通道剪枝的符号表示  72

5.3.2 C-SGD 更新规则  73

5.3.3 C-SGD 的直观解释  75

5.3.4 C-SGD 的高效实现  77

5.3.5 C-SGD 训练后的剪枝重构  78

5.3.6 用 C-SGD 解决受约束剪枝问题  79

5.4 宽度浓缩：一种基于 C-SGD 的训练方法论  83

5.5 实验分析  84

5.5.1 CIFAR-10 剪枝实验  84

5.5.2 ImageNet 剪枝实验  88

5.5.3 语义分割和目标检测  91

5.5.4 聚类方法研究  91

5.5.5 趋同与归零冗余模式的对比  92

5.5.6 C-SGD 与其他剪枝方法的严格对比  93

5.5.7 冗余训练与常规训练的对比  95

5.5.8 “全局瘦身”和“局部裁剪”的对比  96

5.5.9 宽度浓缩  96

5.6 关于 C-SGD 效率的讨论 98

5.7 本章小结  99

第 6 章 基于结构变换的高精度通道剪枝方法  100

6.1 本章引言  100

6.2 相关工作  104

6.3 ResRep. 104

6.3.1 Rep：卷积重参数化  104

6.3.2 Res：梯度重置  106

6.3.3 Res 和 Rep 的有机结合 108

6.4 实验分析  109

6.4.1 ImageNet 和 CIFAR-10 剪枝实验  109

6.4.2 基线和变体对比实验  114

6.4.3 Res 和 Rep 的消融实验  115

6.5 本章小结  117

第 7 章 总结与展望  118

7.1 工作总结  118

7.2 未来工作展望  119

参考文献  121

在学期间完成的相关学术成果  139

致谢  141