图书前言

前  言

概率论(probability theory) 源于17 世纪几位大数学家对赌博的研究,人们用“概率”“或然”“几率”“似然”“机会”等描述一个不确定性事件发生的可能性。时至今日,概率论已经发展成为公理化了的纯粹数学分支,用于探索随机现象的数量规律,成为数据科学(data science,包括数理统计、机器学习、模式识别、数据挖掘、大数据分析等)和人工智能(artificial intelligence, AI) 的基础,也是工程科学、社会科学必不可少的工具,极大地提高了人类的理性思考和认知世界的能力[1-4]。

在数学里,少有像概率论这样的分支,既蕴藏着自然而朴素的真理,又距离应用如此之近。为了让更多的读者了解概率论及其应用,我写了《人工智能的数学基础——随机之美》这部另类的“高级”科普读物。其与同类的姊妹篇《人工智能的数学基础——数据之本》和之后的《人工智能的数学基础——模拟之巧》,它们共同组成了人工智能数学基础中随机数学之旅的三部曲。

除了实用性,概率论体现出的人类理性认识的水平和数学本身的和谐之美也是值得追求的。德国数学家卡尔·雅可比(Carl Jacobi, 1804—1851) 在给友人的一封信中说道,“傅里叶确实有过这样的看法,认为数学的主要目的是公共事业和对自然现象的解释;但像他这样的哲学家应当知道,科学的唯一目的是人类心智的荣耀……。”把数学单纯视为意志的产物并沉醉于它的美妙(如图0.1 所示的分形几何),是很多数学家乐此不疲的原动力。英国数学家戈弗雷·哈罗德·哈代(Godfrey Harold Hardy, 1877—1947) 曾说,“数学家的模式正像画家或诗人的模式一样,必须是充满美感的;数学的概念就像画家的颜色或诗人的文字一样,也必须和谐一致。美感是首要的试金石,丑陋的数学在世上是站不住脚的。”德国数学家赫尔曼·外尔(Hermann Weyl, 1885—1955) 也说过类似的话,“我的工作总是试图把真与美结合起来,当我不得不选择其中之一时,我通常会选择美。”概率论到处充满美妙的结果,等待着有心人的欣赏;还有各种方法论的思辩,等待着更加深邃的理解。

概率论中蕴涵的一些朴素的思想,经过历史的沉淀,成为人类智慧宝库中璀璨的明珠。法国数学大师昂利·庞加莱(Henri Poincaré, 1854—1912) 说过,“如果我们想要预见数学的将来,适当的途径是研究这门学科的历史和现状。”

为此,本书另一个具有革新意义的地方是增加了对概率历史和现状的简介,包括近些年本领域取得的一些成果,以及相关数学家的学术功绩和思想等。因为数学的历史是这些数学英雄创造的(让我们记住他们的名字、模样和丰功伟绩),所以他们的思想最能揭示理论的本质和发展脉络,也是数学文化不可缺少的组成部分,值得传承和永世的纪念*(。尤其是那些引人深思的哲学思想,它们更应该被津津乐道和传颂。

法国大数学家皮埃尔-西蒙·拉普拉斯(Pierre-Simon Laplace, 1749—1827) 是古典概率的集大成者,也是贝叶斯主义的先驱,他的概率思想值得深入研究。像数学史学者那样读拉普拉斯的著作,必须足够地了解概率论和贝叶斯分析才会有所心得,这一要求对普通读者来说几乎是不可能的。揭示拉普拉斯的概率思想最好的方式是把它放在现代概率论中,站在历史的高度看二者的联系,哪些是一脉相承,哪些被无情遗忘,尽收眼底。思想的来龙去脉本来就应该是数学文化的一部分,可惜大多数的数学著作都太严肃古板,只顾堆积严谨的理论和公式,仅让一小部分数学家感受到它的美。本书以拉普拉斯为故事的主角,以拉普拉斯的概率思想(如客观概率的大数律和中心极限定理、主观概率的贝叶斯法则和后验预测分布等)为主线,描绘出概率论的发展,就像创作一本惊心动魄的历史小说(书中有若干暗线有待读者挖掘,如罐子-球模型、连续正面问题、赌资分配问题、随机数和随机模拟、因果关系等),让普通的读者也能从中享受理性思维的酣畅淋漓。

大物理学家阿尔伯特·爱因斯坦(Albert Einstein, 1879—1955)(图0.2)曾直言,“想象力比知识更为重要”。首先,对概率的深刻理解往往不能单纯借助数学公式,而是需要直观想象。想象在先,数学在后,数学只不过是让阐述更严谨、更简洁的语言而已。其次,概率论毕竟是数学工具,要漂亮地解决实际问题还得靠工具使用者的想象力和驾驭知识的能力。

我们看历史上的数学大师如何将概率论一步一步严谨化,一些关键性的概念是在什么情境下被提出,一门学问怎样由这些关键概念/结果织成一个巨大的知识图谱。拉普拉斯的概率思想到底在哪些关键点上影响着这个数学分支?这些思想对人工智能和机器学习有什么启示?如果抛开背景只谈哲学层面的东西,或者泛泛地讨论拉普拉斯的概率研究,只有哲学家、数学史专家会对这些内容感兴趣。

对拉普拉斯概率思想的讨论贯穿了《人工智能的数学基础——随机之美》这本“高级”科普读物。所谓“高级”,一是体现在知识的系统性上,二是结合大量的数学公式,三是有很多课堂上没有的内容。我知道大众科普拒绝数学公式,爱因斯坦曾开玩笑说,多一个公式吓跑一半读者。然而,离开了公式,想表达清楚拉普拉斯的概率思想还真是不易。读者只要尝试翻阅一下拉普拉斯的《概率的哲学随笔》就感同身受了。用自然语言描述一个数学公式简直勉为其难,有时还有歧义,除非读者清楚一切细节,否则研读这类文字无异一种心灵自虐。

读者不必过于担心这些数学符号和数学表达式(图0.3),一旦明白它们的含义并适应了它们的表述方式,它们就如同我们的日常用语,或者音乐和弦,常看常说就习惯成自然。如果实在过不了抽象思维这一关,可以尝试理解书中剖析的概率思想,因为思想的价值远高于数学的技巧。

数学和禅有点像,需要用心去悟。数学的真理初见它时看山是山;知道了来龙去脉后触类旁通、举一反三,看山不是山;最后真理变成理所当然的东西,当我们能用质朴的话语自由地表达它,看山还是山。这是宋代禅宗大师青原行思(671—740) 感悟的参禅的三重境界,和数学的认知过程不谋而合。我国著名数学家华罗庚(Loo-Keng Hua, 1910—1985)(图0.4)也曾说过,“要真正打好基础, 有两个必经的过程, 即‘由薄到厚’和‘由厚到薄’的过程。”华罗庚先生的话和行思的三重境界是同样的道理,我们最终必须“把那些学到的东西,经过咀嚼、消化,融会贯通,提炼出关键性的问题来。”

本书中的人名、术语在第一次出现时一般都给出了对应的英文,多采用国内既定的或流行的译法。对一些新术语,作者参考《英汉数学词汇》[5] 和《现代数学手册》[6] 给出适当的命名。读者可通过附录中人名、术语的索引表在正文中找到它们。书中常用的数学符号,在附录的符号表中也能找到相应的解释。

书中试验涉及的真实数据都标明了出处,模拟数据则给出相应的产生算法。本书利用LATEX 开源系统进行排版*(,所有科学计算和绘图都是通过开源的GCC(GNU Compiler Collection,GNU 编译器套装)、R、Maxima/GnuPlot、TikZ 等完成的。人物肖像、漫画、图标、邮票(非原始尺寸)等取自互联网(如维基百科等),恕不一一标明其出处。

对那些注意事项、关键概念、引申思考、美妙的经典结果、初次阅读可选择跳过的例子、证明等,书中都给出了特殊的标记,其含义见表0.1 中的说明。

进入21 世纪,人工智能发展迅猛,生成式AI 在自然语言处理(natural language processing,NLP)[8, 9]、计算机视觉(computer vision, CV)、机器人学(robotics)[10] 等领域取得了令人瞩目的成就。计算机科学与人工智能之父艾伦·图灵(Alan Turing, 1912—1954) 把AI 的希望寄托在随机性上,这本书正是随机数学的基础。它介绍了客观概率和主观概率的形式理论,是研究不确定性和因果关系的必备工具。

谨以此书深切缅怀恩师程民德(1917—1998) 先生,感激程先生引导作者由数学转入信息科学领域。20 世纪70 年代,程先生最早在国内领导开展了模式识别与图像处理的研究,建立了北大信息数学专业并培养了许多优秀的人才。我有幸成为程先生的学生并得到他的指导,先生的言传身教令我终生铭记——学无止境,永远保持一颗好奇心。

家人多年的无私关爱、理解与支持是作者完成此书的动力。特别地,谢谢女儿经常及时地打断我的工作,要求我全神贯注地陪她玩耍或者给她讲故事,让我跳出了写作的困局。她的理由令我无法反驳——如果此时不陪,以后就再也没机会了。如果时光能够倒流,我愿意陪伴她更多的时间。另外,她对AI 的好奇一直感染着我,我们一起畅想未来的日子,是一位父亲最想珍藏的记忆。

本书的大多数章节,曾作为北京大学(图0.5)信息科学技术学院的本科生主干基础课“概率统计A”的教学内容多次使用,其余部分在研究生课程“统计机器学习”和“贝叶斯数据分析”中讲授过。感谢听过这些课程的学生,他们容忍了讲义不断更新带来的不便。另外,还要感谢蔡延亮、李德珠、李霄翔、张力等几位研究生助教,他们帮助作者在教学过程中收集整理了与正文配套的大部分课后习题,并标注了难度。虽几经易稿,由于作者能力所限,书中仍难免有不妥之处,诚恳地欢迎读者指出,以便在后续的版本中予以修正。希望本书能对读者有所裨益,并带来阅读的快乐。

于江生

于美国加州圣何塞

( *数学是所有自然科学的基础,数学强则科技强。为教化民众,伟大的数学家和思想家的肖像常常出现在货币或邮票上。数学应该得到尊崇,因为这世上没有什么比真理更令人敬畏。

( * 感谢唐纳德·克努斯(Donald Knuth, 1938—) 大师对史上最优排版系统TEX 的杰出贡献[7]。读者可从TEXLive 获取不同平台之下的TEX 支持,包括各种宏包、字体和自由软件。