前言

近年来，深度学习发展迅速，相关算法在计算机视觉、游戏、机器人、无人驾驶、系统控制及医疗诊断等领域取得了显著的成果，特别是大模型、智能体、生成式人工智能在国内外引起了广泛的关注。然而，深度学习的理论基础并没有实质性突破，只是在传统神经网络的基础上加入更多的隐藏层和神经元，使得神经网络的宽度和深度增加，引入了更丰富的网络模块和网络结构，使得神经网络的非线性表达能力增强。继深度学习模型攻克计算机视觉任务之后，大型预训练语言模型的提出和应用突破了自然语言处理难题，通过了图灵测试，颠覆了人机交互方式，探索了一条通向通用人工智能之路。相比之前需要大量精确的人工标注才能训练的机器学习或神经网络，大模型可以利用海量未标注的数据以无监督方式做预训练，学习大量的通用语言知识和共性表示，再使用特定垂直领域的少量标注数据进行“微调”，将共性知识迁移到各种特定任务中进行优化，这种“预训练+微调”的模式具有很强的可扩展性，极大地推动了人工智能在各行各业的快速应用，正在深刻改变社会生产和生活的每一个角落，未来人工智能将成为科技创新领域的基础设施。

为了获得人类级别解决复杂问题的通用智能，很多新的技术方案开始将深度学习的感知能力和强化学习的决策能力相结合。围棋程序AlphaGo Zero、自动驾驶FSD、人形机器人Optimus，以及大模型ChatGPT等的训练和调优，无不用到基于人类反馈的强化学习。最近迅速崛起的DeepSeek则完全由强化学习驱动，无须监督微调，其出色的推理能力令全球震惊，再次将强化学习推到了风口浪尖，采用强化学习提升大模型推理能力的方法受到了人们的重视。深度强化学习技术能够发挥两种学习方法的优势。一方面，可以利用强化学习的试错算法和累积回报函数来解决深度神经网络训练面临的数据集获取和标记难题；另一方面，可以利用深度学习的高维数据处理和快速特征提取能力解决强化学习中的值函数逼近问题。深度强化学习是一种能够进行“迁移学习”“从零开始”“无师自通”的学习模式，是一种更接近人类思维方式的人工智能方法，或许能推动弱人工智能向强人工智能甚至超人工智能的演进。

本书从机器学习的概念开始，循序渐进地介绍回归任务、分类任务、人工神经网络的相关知识，并且使用TensorFlow 2.0来实现典型的算法和模型，全面地介绍从神经网络到深度强化学习的演进过程，包括神经网络的关键技术、深度神经网络的训练方法、卷积神经网络和典型的网络模型、强化学习的基本理论和算法以及深度强化学习的设计思路和应用，并给出各种模型和算法的TensorFlow编程实例。

全书分为9章。

第1章是全书的概述。首先介绍人工智能、机器学习及深度学习的基本概念和发展历程； 然后介绍机器学习、深度学习、强化学习算法的分类。 

第2章和第3章介绍机器学习的基本理论和算法实例。

第2章主要介绍机器学习中的回归任务。首先，介绍机器学习的基础概念； 其次，介绍一元线性回归的理论，并介绍解析法实现一元线性回归的TensorFlow实例； 接着，介绍多元线性回归的理论，并介绍解析法实现多元线性回归的TensorFlow实例； 然后，讲解梯度下降法的基本原理，采用梯度下降法求解线性回归的过程，包括求解一元线性回归和多元线性回归，并给出用TensorFlow实现梯度下降法的实例，以及利用TensorFlow的自动求导机制实现线性回归的梯度下降实例。

第3章介绍机器学习中的分类任务。首先，介绍逻辑回归的基本理论和算法，包括广义线性回归、逻辑回归、交叉熵损失函数的定义； 其次，给出TensorFlow实现一元逻辑回归和多元逻辑回归的实例； 最后，讨论多分类任务，并给出了编程实例。

第4~7章介绍神经网络和深度学习的相关理论和模型实例。

第4章详细介绍神经网络与深度学习。通过模拟生物神经元的工作机制，感知机模型为线性分类问题提供了解决方案，而单层与多层神经网络进一步扩展了其应用范围，能够处理更为复杂的非线性问题。本章首先介绍神经元模型和感知机，以及感知机在二分类问题中的应用。然后介绍基于TensorFlow的单层神经网络的实现案例。最后介绍深度学习的原理，包括误差反向传播算法、激活函数，同时给出用多层神经网络实现鸢尾花分类的编程实现，帮助读者从理论到实践全面理解深度学习的工作原理和应用。

第5章详细介绍深度神经网络的训练方法，包括优化算法、参数初始化方法、常用的正则化策略和训练深度神经网络常用的技巧。 因为使用梯度下降法从理论上无法保证一定可以收敛于最小值点，所以只能尽量改进训练方法、调整参数、优化算法，使它尽可能收敛于全局最小值点。小批量梯度下降算法是训练大规模数据集的首选算法，小批量的样本数、梯度方向、学习率和初始化方法都是影响小批量梯度下降法性能的主要因素。最后，通过Sequential模型搭建并训练深度神经网络，实现手写数字识别的编程，可以帮助读者进一步提升对相关知识的理解。

第6章介绍卷积神经网络的基本理论和方法。卷积神经网络已成为处理图像和计算机视觉任务的核心工具。通过卷积层提取图像的局部特征、池化层简化特征图尺寸，卷积神经网络能够有效地适应图像分类、目标检测等复杂任务。本章详细阐述了卷积神经网络在图像处理中的基本结构和原理，并通过实际应用展示了其在计算机视觉领域的巨大潜力。

第7章介绍几种经典的神经网络模型的发展与应用。卷积神经网络从LeNet开始，逐步发展到AlexNet、VGGNet、GoogLeNet和ResNet等模型，这些模型在深度和宽度上不断优化，适应性与表达能力逐渐增强。例如，AlexNet引入了ReLU激活函数和Dropout方法，VGGNet通过小卷积核的深层堆叠提升性能，而GoogLeNet采用Inception模块来提高网络效率。随后提出的ResNet通过残差网络结构解决了网络退化问题。此外，还介绍了适用于时序数据的循环神经网络（RNN），进一步展示了神经网络在不同任务上的广泛应用。

第8章和第9章介绍从强化学习到深度强化学习的演进与相关理论和应用。

第8章阐述强化学习的基本理论和算法。首先，介绍有模型的马尔可夫决策及动态规划方法； 然后，详细介绍无模型的强化学习算法，包括基于值函数的强化学习算法和基于策略梯度的强化学习算法； 最后，给出强化学习算法的编程实现案例，包括值迭代算法实例、SARSA算法实例、蒙特卡洛算法实例、TDLearning算法及QLearning算法实例。

第9章介绍深度强化学习的算法和应用。首先，阐述基于值函数的深度强化学习和基于策略梯度的深度强化学习； 然后，给出深度强化学习的典型应用实例，包括用DDPG实现pendulumV0实例，实现CartPoleV0实例，以及实现MountainCarV0实例。

全书内容可以划分为3部分：机器学习的基本理论和算法实现（第1~3章），深度学习和卷积神经网络相关模型和算法实现（第4~7章），强化学习和深度强化学习的基本理论和算法实现（第8章和第9章）。为了有针对性地学习和实践某些机器学习方法、深度学习模型或强化学习算法，读者可以根据自身需要，选择性地阅读相关章节。 

配套资源

 程序代码： 扫描目录上方的二维码下载。

 教学课件等资源： 到清华大学出版社官方网站本书页面下载，或者扫描封底的“书圈”二维码在公众号下载。

 微课视频（141分钟，22集）： 扫描书中相应章节中的二维码在线学习。

注： 请先扫描封底刮刮卡中的文泉云盘防盗码进行绑定后再获取配套资源。

由于编者水平和视野所限，编写时间仓促，加之深度学习技术发展一日千里，书中难免有疏漏之处，恳请读者批评指正。

魏翼飞2025年6月