前言
当前，人工智能已成为引领新一轮科技革命与产业变革的战略性技术，深刻改变着人
类的生产和生活方式。作为人工智能领域的核心技术，深度学习凭借其出色的表征学习能
力，在计算机视觉、自然语言处理、智能决策等多个方向取得突破性进展，并广泛应用于工
业、医疗、金融、教育等行业。近年来，备受关注的大模型、生成式人工智能、具身智能等
研究方向，也都离不开深度学习技术的支撑。在此背景下，国内众多高校的人工智能及相
关专业（如自动化、计算机、电子等）均已面向高年级本科生和研究生开设深度学习课程。
本书基于作者在清华大学讲授“模式识别与机器学习”本科生课程的多年教学实践，以
及长期在深度学习领域的一线科研经验，立足国内高校人工智能及相关专业教学的实际需
求，系统梳理了深度学习的知识体系，从多层感知机等经典神经网络入手，逐步深入剖析
深度卷积网络、循环神经网络、Transformer 等核心模型与算法，同时介绍了自监督学习、
生成式模型、高效计算方法等前沿与面向实践的内容。由于深度学习仍处于快速发展阶段，
涵盖范围广泛，本书适当省略了一些较为专用或理论过深的内容，而聚焦于最具代表性的
神经网络模型与算法，以帮助初学者迅速把握其核心知识与体系框架。本书特别注重厘清
深度学习的发展脉络，阐明各类模型与算法提出的背景及其演进关系，这对读者系统认识
该领域并逐步形成创新能力具有重要意义。同时，深度学习也是一门高度重视实践的学科。
为此，本书基于常用的PyTorch 深度学习框架，提供了典型的实践指导与代码示例，以帮
助读者将理论学习与动手实操相结合。
通过学习本书，学生将主要在以下三方面有所收获：一是建立对深度学习知识体系的
整体认识，包括其发展历程、未来趋势以及与人工智能其他前沿方向的关系；二是掌握深
度学习的典型模型与算法原理，包括神经网络基本结构、常见类型及其训练方法；三是提
升深度学习技术的实践能力，并初步形成在该领域开展创新研究的思维与能力。
本书共分为14 章。第1 章为绪论，梳理深度学习的发展历程，并介绍其在各领域的典
型应用与研究前沿；第2 章介绍基础知识，涵盖机器学习任务类型、性能评价指标、过拟合
与欠拟合、偏差与方差权衡、最大似然估计、贝叶斯决策、各类学习范式以及损失函数设
计；第3 章介绍感知机与多层感知机的原理，阐述反向传播算法及典型优化方法，并对各类
激活函数的特性进行对比分析；第4 章围绕卷积神经网络展开，从卷积运算特性、卷积变体
到池化与归一化技术，进而介绍代表性经典架构及其设计思想；第5 章介绍循环神经网络，
包括经典结构、长短时记忆网络（LSTM）与门控循环单元等；第6 章介绍Transformer 架
构，包括其核心组件自注意力机制与位置编码，并探讨该架构的常见拓展及其与卷积网络
的关系；第7 章讲解图神经网络，涵盖图表示学习、消息传递框架以及过度平滑问题的应
对策略；第8 章系统介绍深度生成模型，包括变分自编码器、生成对抗网络、扩散模型及
基于词元的生成模型；第9 章分析深度神经网络优化中的挑战，如梯度悬崖、梯度消失与
爆炸、局部极小值与鞍点等，并介绍随机梯度下降、动量算法等优化策略；第10 章讨论正
则化技术，包括参数范数惩罚、数据增强、模型集成与随机失活等；第11 章介绍自监督学
习，涵盖计算机视觉、自然语言处理及多模态领域的代表性方法；第12 章内容为深度强化
学习，包括任务建模、策略迭代和典型实例；第13 章介绍面向实践的深度神经网络高效计
算技术，包括参数量化、网络剪枝、知识蒸馏、神经架构搜索等模型压缩与加速方法；第14
章以PyTorch 框架为例，从张量操作、自动求导到神经网络层构建逐步展开，并通过图像
分类器、文本分类器的实战案例，帮助读者掌握深度学习模型的实现与训练流程。附录部
分补充了线性代数、微积分、概率统计等相关的数学基础知识，为学习本书内容提供支撑。
本书编写过程中，清华大学自动化系学习与感知实验室（LEAP Lab）的学生参与了大
量的资料收集与整理、稿件校对等工作，贡献者包括李楠楠、韩东辰、王荻文、刘泽禹、叶
天竺、黄瑞、郭嘉懿、杨琪森、王鸿辉、王语霖、浦一凡、夏卓凡、乐阳、石昊、蒋昊峻、
乐洋、倪赞林、卢睿、庄荣贤、葛春江、杜超群、郑嘉恒、王洹芊、赵启晨、王慎执、仇慧、
朱锦潮、刘政、张杰等同学，对于他们的辛勤付出特此致谢。本书在编写过程中参考和借
鉴了国内外大量文献、课件及博客等资料，谨此向所有相关作者与贡献者致以诚挚的感谢。
虽然书末已列出主要参考文献，但仍可能存在遗漏之处。若有引用缺失或引用不当的情况，
在此深表歉意，我们将在后续版本中予以修正和补充。
鉴于编者水平有限，且深度学习领域发展迅速，书中难免存在疏漏乃至错误，恳请各
位专家和读者批评指正，以便我们不断改进和完善本书。
作者
2025 年12 月
