速通深度学习数学基础 pdf下载

以线性代数、微积分、概率论为逻辑主线，讲解了与深度学习有关的大部分数学内容，并结合作者多年工作经验介绍了工程实践和实际应用中的技巧。

本书以线性代数、微积分、概率论为逻辑主线，讲解了与深度学习有关的大部分数学内容。本书以理论结合实际的方式讲解，使数学知识不再是冰冷的公式堆砌，而变成一个个真实的案例，同时对案例背后的原理进行理论上的升华，希望达到一通百通的效果。读者通过阅读本书，不仅能够提升阅读学术论文中的数学公式的能力，还能加深对深度学习本身的理解。

本书面向入门级读者，摒弃复杂的数学推导和证明，重视逻辑推理和简单的表达，特别适合数学基础不足的读者阅读。

卢菁，北京科技大学博士，北京大学博士后流动站出站。工作于腾讯、爱奇艺等知名互联网公司，主要从事人工智能技术的应用研发工作。主要研究方向为机器学习、自然语言处理、知识图谱、推荐系统等，有丰富的理论和实践经验。

正如本书的书名，本书能让读者放下对数学基础不足的担忧，快速对机器学习的基础技术和应用进行全景式的理解。作者从互联网实践应用的角度，对枯燥的理论进行了深入浅出的讲解，让读者在了解理论背景的同时掌握实际业务场景中的应用方法。

刘俊晖 爱奇艺AI高级总监

人工智能行业的高速发展，与之相关的算法工程师等岗位也成为高薪和快速发展的代名词，让无数学子为之向往。但是，数学作为人工智能技术的核心工具，却让很多同学感到非常棘手，高等数学、概率、线性代数等高难度学科压得人喘不过气。卢老师以自身深厚的学养，辅以多年的实践以及教学经验，将人工智能行业所需的数学知识条分缕析地展现在读者面前，帮助读者用最短的时间、最高效的方法掌握必备的数学基础知识，是进入人工智能行业的必备参考书。

陈川 千锋教育集团副总裁

本书写得通俗易懂，没有过于复杂的公式，非常适合数学基础薄弱的同学快速入门机器学习。本书内容贴合实际工作，很多企业中的真实例子可以作为就业面试辅导和项目技术参考。

肖阳 百度副总裁

本书的作者卢菁是我的老同学。本书介绍了业内广泛使用的机器学习算法和模型，既包含核心概念、算法原理、行业应用等方面的详尽介绍，也包含作者多年的实践经验总结。本书内容深入浅出、清晰透彻，相信有志于人工智能领域的从业者都能从中获益。

贺海波 网易传媒技术副总经理

这是一本非常适合读者快速入门的机器学习教程，是适合普通人修炼的秘籍。作者用通俗易懂的语言，结合很多真实的案例进行讲解——就像大学课程的讲义一样。推荐希望快速了解机器学理论和实践的技术和产品人员阅读。

王栋 小米互联网业务部副总经理兼电视与视频业务部总经理

第1章　线性代数的基本概念 1

1.1　向量和深度学习 1

1.2　向量距离计算 7

1.3　向量的基本性质 11

1.3.1　向量的基本运算 11

1.3.2　线性相关和线性无关 14

1.3.3　向量的投影和正交 15

1.4　矩阵 18

1.4.1　矩阵的基本概念 18

1.4.2　矩阵和神经网络 26

1.4.3　矩阵的秩 28

1.5　一些特殊的矩阵 30

1.5.1　矩阵的逆和广义逆 30

1.5.2　正交矩阵 32

第2章　线性代数在深度学习中的应用 34

2.1　特征值和特征向量 34

2.1.1　特征值和特征向量的定义 34

2.1.2　一般矩阵的特征分解 37

2.1.3　对称矩阵的特征分解 38

2.2　奇异值分解 41

2.3　正定矩阵 45

2.4　矩阵的范数和神经网络 46

2.5　主成分分析 49

2.6　推荐系统中的矩阵分解 55

第3章　微积分的基本概念 59

3.1　导数的定义和几何意义 59

3.2　复杂函数求导 61

3.3　导数的存在性 64

3.4　多元函数求导 65

3.5　二阶导数和高阶导数 65

3.6　函数的极大值和极小值 69

3.6.1　一元函数的极大值和极小值 69

3.6.2　多元函数的凹凸性和海森矩阵 72

3.6.3　凸优化证明 73

第4章　微积分在深度学习中的应用 77

4.1　梯度下降法 77

4.1.1　梯度下降法在深度学习中的应用 77

4.1.2　泰勒公式和梯度下降法 80

4.1.3　牛顿迭代法 81

4.2　梯度下降法的缺点 84

4.3　矩阵求导术 88

4.3.1　标量对向量和矩阵求导 88

4.3.2　向量对向量求导 89

4.3.3　链式法则 91

4.4　常见激活函数及其导数 92

4.5　常见损失函数及其导数 99

4.5.1　分类和回归 99

4.5.2　哈夫曼树和负采样 103

4.5.3　度量学习 106

4.6　积分和求和 108

4.6.1　积分和不定积分 108

4.6.2　多重积分 111

4.6.3　分类模型的效果指标AUC 113

第5章　概率的基本概念 117

5.1　概率入门 117

5.2　联合概率和条件概率 119

5.3　贝叶斯定理 122

5.4　连续概率分布 124

5.5　均值和方差 126

5.6　相关性 130

5.7　正态分布 133

5.7.1　正态分布的基本概念和性质 133

5.7.2　正态分布和逻辑回归 137

第6章　概率在深度学习中的应用 139

6.1　概率分布之间的距离 139

6.2　最大似然估计 140

6.3　Logit和Softmax 143

6.3.1　二分类的Logit 143

6.3.2　多分类的Softmax 144

6.4　语言模型 147

6.5　概率悖论 150

6.5.1　辛普森悖论 150

6.5.2　基本比率谬误 151

6.5.3　罗杰斯现象 153

6.5.4　伯克森悖论 153

6.6　统计学基础 155

6.6.1　卡方分布和学生分布 155

6.6.2　假设检验 158

6.6.3　AB测试 168

6.7　各类散列变换 172

6.7.1　特征Hash 172

6.7.2　MD5 174

6.7.3　特征空间的投影 175

6.7.4　simhash 177

6.7.5　minhash 178

6.8　分类器性能的极限 181

6.8.1　最大AUC 181

6.8.2　贝叶斯错误率 184

序

深度学习从感知器诞生至今已有近70年的历史。目前深度学习逐渐发展成以大模型加精调的迁移学习新范式。深度学习从实验室走向商业化应用，赋能于民用、工业等领域，深刻地影响着人们的生活。每个深度学习算法的背后，是无数科学家、研究员、工程师用智慧探索算法的原理并结合实际场景落地，每一项复杂工作的背后，蕴藏着深刻的数学原理。

国内与深度学习有关的书籍多如繁星，但似乎缺乏专门讲解深度学习背后的数学原理的著作。这本《速通深度学习数学基础》的出现，为相关领域的读者提供了学习上的便利。

本书作者长期从事深度学习项目实践，对相关理论和方法有深刻的心得体会。本书力求精简，在有限的篇幅里，以线性代数、微积分、概率论三条主线，讲解了与深度学习有关的数学知识。参考本书，读者可以大幅提升深度学习领域的文献阅读能力。

本书针对数学知识在深度学习中的应用，精心挑选了相关内容进行深入浅出的讲解，文字轻松有趣，别开生面。本书特别适合以下读者阅读：大学生；想进入深度学习行业，但是担心数学底子不好的技术人员；在算法上缺乏足够基础的工程师。相信本书能帮助这些读者系统地了解深度学习模型背后的常用数学原理。

周　明

2022年7月

前言

在我们享受人工智能带来的便利背后，是无数科学家、研究员、工程师的辛勤工作。他们用智慧探索智能化的原理，并结合实际场景落地——这项复杂工作的背后往往蕴藏着深刻的数学原理。如果说社会需求是人工智能的第一驱动力，那么数学就是最为重要的燃料。

写作背景

在目前国内的图书市场上，深度学习数学相关书籍，要么是纯粹的数学内容，要么是深度学习各类模型的汇总，缺乏专门将数学和人工智能结合起来讲解的著作。本书恰好填补了此处的市场空白，希望能为相关领域的学生、工作人员提供学习上的便利。

本书内容

本书力求精简，因此很薄，但内容一点也不少。

本书以线性代数、微积分、概率论为逻辑主线，讲解了与深度学习有关的大部分数学内容。读者通过阅读本书，不仅能够提升阅读学术论文中的数学公式的能力，还能加深对深度学习本身的理解。相比于现行的数学教材理论较多、偏向严谨的证明、容易让人望而生畏，本书把焦点放在了数学知识在深度学习中的应用上。

本书精心挑选深度学习相关知识进行深入浅出的讲解，对所涉及的数学结论给出相应的落地应用。和同类深度学习书籍相比，本书面向入门级读者，摒弃复杂的数学推导和证明，重视逻辑推理和简单的表达，特别适合数学基础不足的读者阅读。和国内外经典书籍相比，本书以数学知识为主线带出深度学习知识。读者可以将本书当作对同类书籍中数学知识的二次提炼。

本书作者长期奋战在深度学习一线，对自然语言处理、推荐系统等有深入的研究和应用心得。本书以理论结合实际的方式讲解，使数学知识不再是冰冷的公式堆砌，而变成一个个真实的案例，同时对案例背后的原理进行理论上的升华，希望达到一通百通的效果。

人工智能不仅是一个前沿领域，也是一个接地气的工程学科。人工智能越来越多地渗透到我们的日常工作和生活中，不仅极大提升了我们的工作效率，还在衣、食、住、行等方面改变着我们的生活。

当然，从总体看，人工智能仍然有很长的路要走，还有巨大的潜能没有释放。让我们共同奋斗吧！

卢　菁

2022年6月