目 录 本书导读
第 1 章 深度学习的入门与开发基础知识........................................................1
视频讲解：21 分钟，8 集
1.1 深度学习开发环境搭建 ........................................................................................... 1
1.1.1 开发环境选择与搭建 ............................................................................................1
1.1.2 开发框架 ...............................................................................................................2
1.1.3 GPU 环境配置与加速工具....................................................................................4
1.1.4 常用开发硬件配置建议 ........................................................................................6
1.1.5 模型优化调试工具 ................................................................................................7
1.2 深度学习模型开发流程概述 .................................................................................... 8
1.3 问题定义与需求分析 ............................................................................................ 10
1.4 数据准备与预处理概述 ..........................................................................................11
1.5 深度学习模型概述 ................................................................................................ 12
1.6 模型对比与任务适配概述 ..................................................................................... 14
1.7 损失函数选择概述 ................................................................................................ 16
1.8 深度学习模型训练与优化概述............................................................................... 17
1.9 模型性能评估与可视化方法概述 ........................................................................... 19
1.10 模型部署环境概述 .............................................................................................. 22
1.11 项目工程管理 ..................................................................................................... 23
1.11.1 项目代码组织结构 ............................................................................................23
1.11.2 参数、实验与版本管理.....................................................................................25
1.12 深度学习项目快速入门 ....................................................................................... 26
第 2 章 数据准备与预处理....................................................................... 30
视频讲解：18 分钟，8 集
2.1 数据采集与来源整理 ............................................................................................ 30
2.2 数据清洗处理及工具 ............................................................................................ 32
2.3 数据预处理方法与工具 ......................................................................................... 34
2.3.1 图像数据预处理 ..................................................................................................34
2.3.2 文本数据预处理 ..................................................................................................35
2.3.3 语音数据预处理 ..................................................................................................37
2.3.4 跨模态数据预处理 ..............................................................................................39
2.4 数据标注方法与工具 ............................................................................................ 40
2.4.1 图像数据标注 .....................................................................................................40
2.4.2 文本数据标注 .....................................................................................................42
2.4.3 语音数据标注 .....................................................................................................43
2.4.4 多模态数据标注 ..................................................................................................44
2.5 数据格式转换与结构组织 ..................................................................................... 46
2.6 数据增强技术 ...................................................................................................... 48
2.7 特征提取与表示转换 ............................................................................................ 50
2.8 数据管道与加载机制 ............................................................................................ 51
2.9 数据质量评估与分析 ............................................................................................ 53
2.10 Prompt 工程与模板设计 ..................................................................................... 55
第 3 章 模型构建与训练.......................................................................... 57
视频讲解：41 分钟，19 集
3.1 模型结构设计与构建方法 ..................................................................................... 57
3.1.1 常见模型结构范式 ..............................................................................................57
3.1.2 卷积神经网络结构设计与变体 ...........................................................................60
3.1.3 循环神经网络与序列建模...................................................................................62
3.1.4 Transformer 结构原理与模块化构建方法 ...........................................................63
3.1.5 多输入多输出结构与混合模型设计 ...................................................................66
3.2 常用损失函数与评估指标选择............................................................................... 68
3.2.1 分类任务常用选择 ..............................................................................................68
3.2.2 回归任务常用选择 ..............................................................................................70
3.2.3 排序任务常用选择 ..............................................................................................71
3.2.4 生成任务常用选择 ..............................................................................................73
3.2.5 分割与匹配任务常用选择...................................................................................74
3.2.6 多任务损失常用选择 ..........................................................................................76
3.3 模型构建进阶技巧 ................................................................................................ 78
3.3.1 模型模块化设计 ..................................................................................................78
3.3.2 模型配置与动态构建 ..........................................................................................79
3.3.3 模型参数封装与多模型切换设计 .......................................................................81
3.3.4 加载与应用预训练大模型...................................................................................83
3.3.5 构建自定义模型 ..................................................................................................84
3.4 模型训练与调优策略 ............................................................................................ 86
3.4.1 模型训练流程 .....................................................................................................86
3.4.2 优化器与学习率调度 ..........................................................................................88
3.4.3 梯度处理技巧 .....................................................................................................90
3.4.4 混合精度训练与 AMP 加速 ................................................................................91
3.5 正则化与过拟合控制技巧 ..................................................................................... 93
3.5.1 Dropout 与变种机制 ...........................................................................................93
3.5.2 常用正则化技术对比 ..........................................................................................94
3.5.3 Label Smoothing 与数据扰动增强 ......................................................................95
3.5.4 Early Stopping 与验证集监控 .............................................................................97
3.5.5 模型容量与过拟合风险控制 ...............................................................................98
3.6 超参数调优与自动搜索 ........................................................................................100
3.6.1 超参数调节范围与敏感性分析 .........................................................................100
3.6.2 网格搜索、随机搜索与贝叶斯优化 .................................................................101
3.6.3 常用自动调参工具 ............................................................................................103
3.6.4 多目标优化与约束条件调优方法 .....................................................................105
3.7 微调与增量学习方法 ...........................................................................................108
3.7.1 全参数微调与冻结策略 ....................................................................................108
3.7.2 轻量化微调方法 ................................................................................................110
3.7.3 微调工具链介绍 ................................................................................................112
3.7.4 增量学习与迁移学习框架.................................................................................114
3.7.5 多任务学习与共享骨干网络设计 .....................................................................116
3.8 模型训练中的常见问题与解决方法 .......................................................................118
3.8.1 训练不收敛 / 损失振荡的原因排查 ..................................................................118
3.8.2 过拟合与欠拟合判断及应对策略 .....................................................................119
3.8.3 模型梯度消失 / 爆炸的分析与缓解 ..................................................................121
3.8.4 模型训练速度与资源占用优化方法 .................................................................123
3.9 分布式与大规模训练策略 ....................................................................................124
3.9.1 数据并行、模型并行与混合并行策略 ..............................................................124
3.9.2 Horovod、DeepSpeed、FSDP、Colossal-AI 框架介绍 ....................................126
3.9.3 大模型训练中内存优化的常用技巧 .................................................................128
第 4 章 模型部署与优化........................................................................131
视频讲解：14 分钟，5 集
4.1 模型部署基础与流程概述 ....................................................................................131
4.2 模型格式与中间表示转换 ....................................................................................133
4.3 推理引擎与加速框架 ...........................................................................................135
4.4 模型压缩与优化技术 ...........................................................................................137
4.5 云边协同部署架构设计 ........................................................................................140
4.6 大模型部署与分布式推理 ....................................................................................142
4.7 性能分析与调试方法 ...........................................................................................144
4.8 模型安全性与鲁棒性评估 ....................................................................................145
第 5 章 典型任务实践与多模态应用..........................................................148
视频讲解：13 分钟，5 集
5.1 计算机视觉任务实践 ...........................................................................................148
5.1.1 计算机视觉任务概述与应用场景 .....................................................................148
5.1.2 图像分类实践 ...................................................................................................149
5.1.3 目标检测与实例分割 ........................................................................................152
5.1.4 视频理解与动作识别 ........................................................................................155
5.2 自然语言处理任务实践 ........................................................................................157
5.2.1 自然语言处理任务概述与应用场景 .................................................................157
5.2.2 文本分类与情感分析 ........................................................................................158
5.2.3 文本生成任务 ...................................................................................................160
5.2.4 文本匹配与语义检索 ........................................................................................163
5.2.5 序列标注任务 ...................................................................................................166
5.2.6 信息抽取与结构化转换 ....................................................................................169
5.2.7 语义理解与问答系统 ........................................................................................171
5.3 语音与音频处理任务实践 ....................................................................................173
5.3.1 任务概述与应用场景 ........................................................................................173
5.3.2 自动语音识别任务实践 ....................................................................................175
5.3.3 语音合成任务实践 ............................................................................................177
5.3.4 噪声抑制与回声消除 ........................................................................................179
5.3.5 音频事件检测与分类 ........................................................................................182
5.3.6 语音增强与多麦克风阵列建模 .........................................................................185
5.4 多模态感知任务实践 ...........................................................................................187
5.4.1 多模态基础与任务类型 ....................................................................................187
5.4.2 图文检索与对齐 ................................................................................................188
5.4.3 图文问答系统 ...................................................................................................191
5.4.4 多模态异常识别 ................................................................................................194
第 6 章 大模型应用..............................................................................199
视频讲解：11 分钟，4 集
6.1 预训练模型与微调技术实践 .................................................................................199
6.1.1 预训练模型的发展背景与范式 .........................................................................199
6.1.2 主流预训练模型类型与结构概览 .....................................................................201
6.1.3 微调目标与方法分类 ........................................................................................203
6.1.4 微调流程与关键技术细节.................................................................................204
6.1.5 微调工具与平台的选择 ....................................................................................206
6.1.6 微调实战案例：LoRA + 指令问答任务 ...........................................................207
6.1.7 微调模型特有的评估与优化 .............................................................................210
6.1.8 微调技术的挑战与发展趋势 .............................................................................211
6.2 知识库 RAG 系统构建实践 ..................................................................................212
6.2.1 知识库系统的背景与任务定义 .........................................................................212
6.2.2 文档预处理与清洗策略 ....................................................................................213
6.2.3 文档向量化与索引构建 ....................................................................................214
6.2.4 RAG 原理与技术流程 .......................................................................................218
6.2.5 多文档融合与上下文对齐策略 .........................................................................221
6.2.6 知识图谱及其构建过程 ....................................................................................223
6.2.7 知识图谱与 RAG 融合系统 ..............................................................................227
6.2.8 RAG 知识问答案例实践 ...................................................................................229
6.2.9 常用评估指标与优化方法.................................................................................231
6.2.10 面临的挑战与未来趋势 ..................................................................................233
6.3 智能体 ................................................................................................................233
6.3.1 背景与任务定义 ................................................................................................233
6.3.2 智能体的结构与基本组件.................................................................................234
6.3.3 多智能体协同机制与调度策略 .........................................................................237
6.3.4 与外部系统的集成方法 ....................................................................................239
6.3.5 模型上下文协议 ................................................................................................241
6.3.6 MCP 在多智能体系统中的作用 ........................................................................250
6.3.7 多轮对话管理与上下文保持 .............................................................................251
6.3.8 多模态智能体扩展 ............................................................................................253
6.3.9 主流框架与工具链介绍 ....................................................................................255
6.3.10 智能体知识问答案例实践 ...............................................................................256
6.3.11 常用评估指标与优化方法 ...............................................................................259
6.3.12 面临的挑战与发展趋势 ..................................................................................260
参考文献.............................................................................................261
