目录
目录
第0章绪论
第1章数学基础
1.1导数
1.1.1导数的定义
1.1.2高阶导数与偏导数
1.1.3导数与函数极值
1.2概率论基础
1.2.1事件与概率
1.2.2随机变量与概率分布
1.2.3期望、方差与协方差
1.3矩阵基础
习题
第2章搜索
引言
2.1搜索问题的定义
2.2搜索算法基础
2.3盲目搜索
2.3.1图搜索
2.3.2深度优先搜索
2.3.3宽度优先搜索
2.3.4复杂度分析及算法改进
2.4启发式搜索
2.4.1贪婪搜索
2.4.2A*搜索算法
2.4.3A*搜索算法的最优性
2.4.4启发函数的设计
2.4.5双向搜索
2.5局部搜索
2.5.1爬山法
2.5.2模拟退火
2.5.3遗传算法
2.6对抗搜索
2.6.1极小极大搜索
2.6.2AlphaBeta剪枝搜索
2.6.3蒙特卡罗树搜索
本章总结
历史回顾
习题
第3章机器学习
引言
3.1监督学习的概念
3.2数据集与损失函数
3.3泛化
3.4过拟合与欠拟合
3.5创建数据集
3.6无监督学习与半监督学习
3.6.1K平均算法
3.6.2谱聚类算法
本章总结
历史回顾
习题
参考文献
第4章线性回归
引言
4.1线性回归
4.2优化方法
4.3二分类问题
4.4多分类问题
4.5岭回归
4.6套索回归
4.7支持向量机算法
本章总结
习题
第5章决策树模型
引言
5.1决策树的例子
5.2决策树的定义
5.3决策树的训练算法
5.3.1叶子预测值的计算
5.3.2分割条件的选取
5.3.3决策树结构的选择
5.3.4防止过拟合
5.3.5伪代码
5.3.6缺失值处理
5.3.7离散型特征处理方法与特征工程
本章总结
历史回顾
习题
参考文献
第6章集成学习
引言
6.1集成学习
6.1.1一个理想化模型
6.1.2引导聚集方法
6.1.3提升算法
6.2随机森林
6.2.1随机森林的算法描述
6.2.2关于随机性的探讨
6.3梯度提升
6.3.1梯度提升的概念
6.3.2梯度提升树
6.3.3GBDT中的防过拟合方法
6.3.4GBDT的高效开源实现
本章总结
历史回顾
习题
参考文献
第7章神经网络初步
引言
7.1深度线性网络
7.2非线性神经网络
7.3反向传播计算导数
7.4优化器
7.5权值初始化
7.5.1Xavier初始化
7.5.2Kaiming初始化
7.6权值衰减
7.7权值共享与卷积
7.8循环神经网络
本章总结
历史回顾
习题
第8章计算机视觉
引言
8.1什么是计算机视觉
8.2图像的形成
8.2.1小孔相机模型
8.2.2数字图像
8.3线性滤波器
8.4边缘检测
8.5立体视觉
8.6卷积神经网络
8.7物体检测
8.8语义分割
本章总结
历史回顾
习题
参考文献
第9章自然语言处理
引言
9.1语言模型
9.1.1为什么需要语言模型?什么是语言模型?
9.1.2ngram模型
9.1.3最大似然估计
9.1.4困惑度
9.1.5实用技巧
9.1.6语言模型的应用
9.1.7字模型与词模型
9.1.8中文与英文的差别
9.2向量语义
9.2.1语义
9.2.2词向量
9.2.3Word2vec
9.2.4可视化示例
9.3基于神经网络的语言模型处理
9.3.1基于神经网络的bigram模型
9.3.2训练神经网络
9.3.3基于神经网络的ngram模型
9.3.4基于LSTM的语言模型
9.4基于神经网络的机器翻译
9.4.1Seq2Seq模型
9.4.2生成最佳的输出语句: Beam Search
9.4.3基于注意力机制的Seq2Seq模型
9.4.4Transformer模型
9.5语言模型预训练
9.5.1GPT: generative pretrained Transformer
9.5.2BERT: bidirectional encoder representations from
Transformers
9.5.3判别式与生成式建模方式的讨论
本章总结
历史回顾
习题
第10章马尔可夫决策过程与强化学习
引言
10.1马尔可夫链
10.1.1例子
10.1.2马尔可夫链定义
10.1.3马尔可夫链稳态分布
10.2马尔可夫决策过程
10.2.1路线规划
10.2.2马尔可夫决策过程的定义
10.3马尔可夫决策过程的求解算法及分析
10.3.1马尔可夫决策过程算法
10.3.2算法收敛性分析
10.4强化学习
10.4.1QLearning
10.4.2深度强化学习
本章总结
历史回顾
参考文献
习题
附录A数学基础
A.1导数
A.2概率
A.3矩阵