目录

第1章概论

1.1智能、识别、学习

1.2模式识别的基本任务和系统典型构成

1.3本书主要内容与推荐用法

第2章统计决策方法

2.1引言： 一个简单的例子

2.2最小错误率贝叶斯决策

2.3最小风险贝叶斯决策

2.4两类错误率、NeymanPearson决策与ROC曲线

2.5正态分布时的统计决策

2.5.1正态分布及其性质回顾

2.5.2正态分布概率模型下的最小错误率贝叶斯决策

2.6错误率的计算

2.6.1正态分布且各类协方差矩阵相等情况下错误率的计算

2.6.2高维独立随机变量时错误率的估计

2.7错误率的实验估计

2.7.1训练错误率

2.7.2测试错误率

2.7.3交叉验证

2.7.4真实场景下需要考虑的更多问题

2.8离散时间序列样本的统计决策

2.8.1基因组序列的例子

2.8.2马尔可夫模型及在马尔可夫模型下的贝叶斯决策

2.8.3隐马尔可夫模型简介

2.9贝叶斯网络简介与朴素贝叶斯分类器

2.9.1贝叶斯网络的基本概念

2.9.2贝叶斯网络模型的学习

2.9.3朴素贝叶斯分类器

2.10讨论

第3章概率密度函数的估计

3.1引言

3.2最大似然估计

3.2.1最大似然估计的基本原理

目录

目录

3.2.2最大似然估计的求解

3.2.3正态分布下的最大似然估计

3.3贝叶斯估计与贝叶斯学习

3.3.1贝叶斯估计

3.3.2贝叶斯学习

3.3.3正态分布时的贝叶斯估计

3.3.4其他分布的情况

3.4概率密度估计的非参数方法

3.4.1非参数估计的基本原理与直方图方法

3.4.2kN近邻估计方法

3.4.3Parzen窗法

3.5讨论

第4章线性学习机器与线性分类器

4.1引言

4.2线性回归

4.3线性判别函数的基本概念

4.4Fisher线性判别分析

4.5感知器

4.6最小平方误差判别

4.7罗杰斯特回归

4.8最优分类超平面与线性支持向量机

4.8.1最优分类超平面

4.8.2大间隔与推广能力

4.8.3线性不可分情况

4.9多类线性分类器

4.9.1多个两类分类器的组合

4.9.2多类线性判别函数

4.9.3多类罗杰斯特回归与软最大

4.10讨论

第5章典型的非线性分类器

5.1引言

5.2分段线性判别函数

5.2.1分段线性距离分类器

5.2.2一般的分段线性判别函数

5.3二次判别函数

5.4多层感知器神经网络

5.4.1神经元与感知器

5.4.2用多个感知器实现非线性分类

5.4.3反向传播算法

5.4.4多层感知器网络用于模式识别

5.4.5神经网络结构的选择

5.4.6前馈神经网络与传统模式识别方法的关系

5.4.7人工神经网络的一般知识

5.5支持向量机

5.5.1广义线性判别函数

5.5.2核函数变换与支持向量机

5.5.3支持向量机早期应用举例

5.5.4支持向量机的实现算法

5.5.5多类支持向量机

5.5.6用于函数拟合的支持向量机——支持向量回归

5.6核函数机器

5.6.1大间隔机器与核函数机器

5.6.2核Fisher判别

5.6.3中心支持向量机

5.7统计学习理论与正则化理论简介

5.7.1统计学习理论简介

5.7.2关于VC维与推广性界的核心结论

5.7.3不适定问题和正则化方法简介

5.8讨论

第6章非参数学习机器与集成学习

6.1引言

6.2近邻法

6.2.1最近邻法

6.2.2k近邻法

6.2.3近邻法的快速算法

6.2.4剪辑近邻法

6.2.5压缩近邻法

6.3决策树与随机森林

6.3.1非数值特征的量化

6.3.2决策树

6.3.3过学习与决策树的剪枝

6.3.4随机森林

6.4Boosting集成学习

6.4.1集成学习的基本思想与AdaBoost方法

6.4.2XGBoost方法

6.5讨论

第7章特征选择

7.1引言

7.2用于分类的特征评价准则

7.2.1基于类内类间距离的可分性判据

7.2.2基于概率分布的可分性判据

7.2.3基于熵的可分性判据

7.2.4利用统计检验作为可分性判据

7.3特征选择的最优算法

7.4特征选择的次优算法

7.5遗传算法

7.6包裹法： 以分类性能为准则的特征选择方法

7.7讨论

第8章特征提取与降维表示

8.1引言

8.2基于类别可分性判据的特征提取

8.3主成分分析

8.4KarhunenLoève变换

8.4.1KL变换

8.4.2用于监督模式识别的KL变换

8.5用“本征脸”作为人脸识别的特征

8.6高维数据的低维可视化

8.7多维尺度(MDS)法

8.7.1MDS的概念

8.7.2古典尺度法

8.7.3度量型MDS

8.7.4非度量型MDS

8.7.5MDS在模式识别中的应用举例

8.8非线性特征变换方法简介

8.8.1核主成分分析(KPCA)

8.8.2IsoMap方法和LLE方法

8.9tSNE降维可视化方法

8.10特征提取与选择对分类器性能估计的影响

8.11讨论

第9章非监督学习与聚类

9.1引言

9.2基于模型的聚类方法

9.3混合模型的估计

9.3.1混合密度的最大似然估计

9.3.2混合正态分布的参数估计

9.4动态聚类算法

9.4.1C均值算法(K均值算法)

9.4.2ISODATA方法

9.4.3基于核的动态聚类算法

9.5模糊聚类方法

9.5.1模糊集的基本知识

9.5.2模糊C均值算法

9.5.3改进的模糊C均值算法

9.6分级聚类方法

9.7自组织映射(SOM)神经网络

9.7.1SOM网络结构

9.7.2SOM学习算法和自组织特性

9.7.3SOM网络用于模式识别

9.8一致聚类方法

9.9聚类结果的评价

9.9.1聚类质量的自身评价

9.9.2不同聚类结果的比较

9.10讨论

第10章深度学习与大模型简介

10.1引言

10.2多层感知器神经网络回顾

10.3卷积神经网络(CNN)

10.3.1卷积神经网络的基本构成

10.3.2深度卷积神经网络

10.4Hopfield网络与玻尔兹曼机

10.4.1Hopfield网络

10.4.2玻尔兹曼机与限制性玻尔兹曼机(RBM)

10.5循环神经网络(RNN)与长短时记忆模型(LSTM)

10.5.1循环神经网络(RNN)

10.5.2长短时记忆模型(LSTM)

10.6自编码器与生成模型

10.6.1深度自编码器

10.6.2变分自编码器（VAE）

10.6.3生成对抗网络（GAN）

10.6.4扩散模型简介

10.7大语言模型简介

10.7.1概率语言模型和词向量表示

10.7.2注意力机制与Transformer

10.7.3大语言模型概述

10.8讨论

第11章结语： 模式识别、机器学习与人工智能

11.1模式识别

11.2机器学习

11.3多元分析

11.4人工智能

11.5展望

参考文献

术语表

后记