人工智能安全：原理剖析与实践 pdf下载

从人工智能信息系统安全和人工智能算法安全的角度分析人工智能，讨论人工智能辅助攻防新场景和人工智能安全生态。

《人工智能安全：原理剖析与实践》对人工智能安全的基本概念和框架进行梳理。第 1 章主要介绍信息安全和人工智能的基础性概念。第 2 章和第 3 章分别从人工智能信息系统安全和人工智能算法安全的角度，对人工智能安全的研究方法、研究手段进行详述，其中包含大量的真实例子、程序代码。第 4 章主要讨论人工智能辅助攻防新场景。第 5 章主要讨论人工智能安全生态。希望通过本书，传统信息安全和人工智能的研究者能快速进入这个领域，为人工智能安全的研究添砖加瓦。

《人工智能安全：原理剖析与实践》适合关注人工智能安全的研究人员、工程技术人员、教师、学生等阅读

王琦

KEEN和GeekPwn发起创办人。曾是微软美国总部以外第一个区域性安全响应中心ChinaMSRC的创始人之一和技术负责人，微软亚太区第一位漏洞研究领域专家级研究员。创建并带领KEEN团队获得了亚洲第一个世界黑客大赛冠军。

朱军

清华大学计算机系博世人工智能冠名教授，瑞莱智慧联合创始人兼首席科学家，IEEE TPAMI副主编，曾任卡内基梅隆大学兼职教授，担任ICML、 NeurIPS、ICLR等国际会议资深领域主席。获ICLR杰出论文奖、CCF自然科学一等奖、吴文俊人工智能自然科学一等奖和科学探索奖，入选“万人计划”领军人才、MIT TR35中国先锋者、IEEE AI ’s 10 to Watch等。

王海兵

KEEN联合创始人，GeekPwn安全实验室总监，前微软安全专家级工程师。有20余年安全产品开发及测试经验，是GeekPwn CAAD人工智能对抗与防御大赛的总命题人。

人工智能是人类发展历史上的一场革命，但人工智能的安全性为人类社会带来了一些隐忧。新技术既能带来革新，又有潜在风险。本书从人工智能及其广泛的社会影响力方面全面地阐述了人工智能的安全性，囊括了人工智能可能给人类社会带来的安全影响和人工智能系统本身的安全问题，介绍了主流的安全措施和针对威胁的防御方法，是全球范围内在这一新领域的权威著作。本书的作者是国际顶级人工智能专家，长期耕耘于人工智能领域，领衔人工智能安全性的研发。本书对人工智能的从业者、决策者、使用者和爱好者来说是一部不可多得的著作。

杨强

加拿大皇家科学院和加拿大工程院院士，国际人工智能联合会理事会前主席，中国人工智能学会副理事长

人工智能产业化历经能用、好用的阶段，逐步进入深水区。人工智能作为一种类人力服务，会不会因为网络问题导致业务中断（人至少不会），会不会因为算法受到欺骗而导致安全事故（人的算法更鲁棒）——这些都是高层次发展阶段才会面临的问题。本书从多个角度对人工智能安全进行了阐述，既适合按部就班地阅读，也可以帮助产品经理、软件开发者和人工智能工程师全方位地重新审视自己的人工智能产品。

吴甘沙

驭势科技联合创始人、CEO，前英特尔中国研究院院长

人工智能安全是一个紧迫而庞大的话题，也是我在百度着力推动的研究重点。王琦、朱军和王海兵是国内最早投入网络安全和人工智能技术相关领域的DJ专家学者，他们合著的这本书不仅能带领我们以宏观的视野理解人工智能安全，也给一线研究人员提供了有的放矢的框架性指导，将为我们更加深刻地理解人工智能安全带来帮助。

马杰

百度副总裁，百度安全总经理

两落三起螺旋式发展的人工智能技术正推动着社会的发展，但其安全研究却被冷落和忽视。本书对人工智能安全的基本概念与特点给出了完整的定义，全面系统地阐述了人工智能伴生、赋能到演变的安全问题，同时从法律的视角充分讨论了人工智能安全在攻防场景中的应用，为人工智能和安全领域的从业者提供了重要参考。

俞能海

中国科学技术大学网络空间安全学院执行院长，教育部网络空间安全专业教学指导委员会副主任委员

第1章　信息安全与人工智能基础1

1.1　“人工智能安全”在研究什么1

1.1.1　AI Safety与AI Security1

1.1.2　人工智能系统面临的安全挑战4

1.1.3　应对安全挑战7

1.2　信息安全基础知识9

1.2.1　信息安全三要素10

1.2.2　攻击的产生条件11

1.2.3　常见的漏洞类型13

1.2.4　输入验证22

1.2.5　攻击面24

1.2.6　漏洞挖掘方法24

1.2.7　常见的漏洞库26

1.2.8　防御手段27

1.3　人工智能基础知识28

1.3.1　人工智能发展历史29

1.3.2　深度学习基础33

1.3.3　ImageNet与ILSVRC35

1.3.4　图像识别领域的里程碑技术38

1.3.5　对一些概念的解释38

1.4　信息安全与人工智能的碰撞40

1.5　本章小结42

参考资料42

第2章　人工智能信息系统安全43

2.1　信息系统环境安全43

2.1.1　人工智能与信息系统环境43

2.1.2　因存在信息系统环境漏洞而被攻击的人工智能系统46

2.2　基础架构安全56

2.2.1　人工智能基础架构57

2.2.2　人工智能框架安全62

2.3　依赖库安全72

2.3.1　TensorFlow处理GIF文件的一个漏洞72

2.3.2　依赖库NumPy中的一个漏洞78

2.3.3　依赖库OpenCV中的一个堆溢出漏洞81

2.4　云服务安全85

2.5　人工智能综合应用：自动驾驶安全88

2.5.1　自动驾驶技术现状88

2.5.2　自动驾驶安全分析95

2.5.3　自动驾驶汽车感知层攻击示例及分析98

2.5.4　汽车信息系统攻击示例及分析103

2.6　本章小结108

参考资料109

第3章　人工智能算法安全110

3.1　人工智能算法安全概述110

3.2　白盒场景下的对抗攻击112

3.2.1　快速梯度符号法113

3.2.2　DeepFool算法116

3.2.3　投影梯度下降法119

3.2.4　基于优化的对抗样本生成算法——C&W算法123

3.2.5　通用对抗扰动128

3.3　黑盒场景下的对抗攻击129

3.3.1　基于迁移的黑盒攻击129

3.3.2　基于查询的黑盒攻击138

3.4　对抗防御153

3.4.1　数据增强（训练阶段）154

3.4.2　鲁棒网络结构（训练阶段）161

3.4.3　鲁棒损失函数（训练阶段）167

3.4.4　输入变换（测试阶段）175

3.4.5　模型后处理（测试阶段）186

3.4.6　对抗检测（测试阶段）191

3.4.7　可验证的鲁棒训练197

3.5　案例分析200

3.5.1　人脸识别201

3.5.2　智能汽车205

3.6　本章小结209

参考资料209

第4章　人工智能辅助攻防新场景215

4.1　自动化漏洞挖掘、攻击与防御215

4.1.1　2016 Cyber Grand Challenge216

4.1.2　符号执行技术218

4.1.3　Mayhem系统原理221

4.2　生成对抗网络在安全领域的应用223

4.3　DeepFake检测挑战赛226

4.4　实验：为视频中的人物换脸228

4.4.1　实验步骤228

4.4.2　实验原理230

4.4.3　从法律角度看AI换脸技术232

4.5　本章小结234

参考资料234

第5章　人工智能安全生态235

5.1　人工智能安全研究现状235

5.1.1　政府规划235

5.1.2　非政府组织的推动237

5.1.3　人工智能研究人员对安全的研究240

5.1.4　厂商和安全极客的作用240

5.1.5　非人工智能专业科学家的作用241

5.2　人工智能安全与伦理242

5.2.1　人工智能伦理研究现状242

5.2.2　让人工智能做出正确的道德决策245

5.2.3　人工智能道德决策的难点246

5.2.4　人工智能安全问题责任归属248

5.2.5　人类应该如何对待人工智能250

5.2.6　人工智能有可能统治人类吗251

5.3　本章小结252

参考资料252

序

早在人工智能（简称AI）诞生之前，人们就已经关注人与智能机器的关系，担心一旦机器具有自我意识之后，是会继续作为“奴隶”听从人类的指挥，还是会变成与人类平起平坐的“兄弟”甚至是统治人类的“主人”。时至今日，AI安全仍然是大家关注的话题，但话题的内涵却有了很大的变化。有意识的智能机器是否会出现、什么时候出现——根据AI技术发展的现状，多数人认为这个问题最多算是“远虑”，并不是当前需要考虑的安全问题。当前迫切需要考虑的AI安全的“近忧”——并不是来自AI机器本身，而是来自对AI技术的人为“误用”与“滥用”——正是人类这些有意或无意的行为，导致了AI系统的多种安全隐患。

“如何正确地使用技术”是一个古老的话题，如原始人掌握的石器制作技术，既可以用来打造生活用品，也可以用来制作石刀与石斧等武器。技术本身没有“好”与“坏”之分，同样的技术既可以用来做“好事”，也可以用来做“坏事”。随着现代科技的迅猛发展，特别是信息科技的高速发展，令人担忧的现象出现了，人们发现：越是高度信息化和网络化的系统就越脆弱，安全漏洞越多，越容易受到攻击。人们本来期望通过AI技术摆脱这个困境，而深度学习的出现打碎了这个良好的愿望，因为人们很快发现，由深度学习构建的AI系统更加脆弱，AI安全问题亟须解决，迫在眉睫。《人工智能安全：原理剖析与实践》一书及时触及并详细阐述了这个话题。

本书从四个方面展开AI安全的讨论。

第一，由于AI系统总是存在于传统信息系统中（如操作系统和互联网环境中），因此AI系统的安全首先要考虑“信息系统环境”的安全。本书第1、2章不仅讨论了传统的信息安全，如漏洞的挖掘、利用漏洞的攻击与防御等，还讨论了AI深度学习框架的安全问题：由于框架自身逻辑的复杂性及第三方依赖库都存在漏洞，因此同样存在信息安全问题。

第二，AI算法安全。由于AI算法，特别是深度学习算法的脆弱性，攻击者通过恶意构造的输入对其进行攻击，造成了巨大的AI算法安全隐患。本书第3章详细讨论了白盒场景下的对抗攻击，如快速梯度符号法、DeepFool算法、投影梯度下降法、C&W算法、通用对抗扰动等，以及黑盒环境下的安全问题，包括基于迁移的黑盒攻击、基于查询的黑盒攻击及相应的防御方法等。

第三，本书第4章在“人工智能辅助攻防新场景”的标题下，讨论了如何利用AI技术创造新的攻防方法，如自动化漏洞挖掘、生成对抗网络在安全领域的应用、对目标检测算法与语音识别系统的攻击、视频中的人物换脸等。

第四，本书第5章在“人工智能安全生态”中讨论了如何避免对AI技术的误用。由于AI系统本身的复杂性及使用环境的复杂性，我们无法在AI系统设计和测试阶段考虑所有可能的安全问题，因此，需要通过加强和改善人机交互和人机协作来解决。本书理论联系实际，提供了关于AI安全从原理分析、算法构造到应用实例、程序代码及实验结果的详细内容。“攻与防”属于“矛与盾”的关系，既是对抗的双方，又是相互合作的伙伴。因此，只有深刻地了解“攻击”的手段，才能构造出坚固的“防御”方法，反之亦然。本书在叙述中既讨论了攻击的方法，也提供了相应的防御手段，兼顾这两项内容。

解决AI的安全问题，涉及两个层面。一是关于AI的治理。既然AI的安全问题主要来自人类对AI技术的误用与滥用，就需要从道德、伦理和价值观的角度制定针对研发人员、管理人员和使用人员的各种法律、法规、制度与标准：一方面，强制大家遵守法律法规，不去滥用AI技术；另一方面，要求大家自觉遵守规章制度，谨慎使用AI技术，以防止误用。二是目前的AI技术，特别是以深度学习为基础的AI技术，是不安全、不可信、不可靠的。我们需要发展可解释和鲁棒的第三代AI理论与方法，发展安全、可信、可靠、可扩展的AI技术，只有这样，才有可能从根本上解决AI的安全问题。

本书适合关注AI安全的研究人员、工程技术人员、教师与学生等广大读者阅读与参考。

张　钹

中国科学院　院士

清华大学人工智能研究院　院长

人工智能这门学科的历史几乎和计算机科学一样长，发展过程经历了多次起落。目前，人工智能正在快速进步，成果喜人。然而，人们对人工智能安全的担忧，几乎伴随着人工智能学科的成长。随着人工智能技术的应用领域越来越广泛，这种担忧越发凸显。

基于这种考虑，我们希望把人工智能安全的一些基本概念和框架进行梳理，使传统信息安全和人工智能的研究者能够快速进入这个领域，为人工智能安全的研究添砖加瓦。另外，我们也希望通过本书表达一个观点：人工智能安全需要计算机、自动化、数学、哲学、社会学、伦理学等各行各业的研究者和实践者共同参与。其原因是：人工智能将会引发一场社会大变革，它关系到人类社会的每个角落。每个行业、每个人都不可避免地会受到人工智能带来的巨大影响，理解和掌握人工智能安全技术，能够让人工智能更好地造福人类社会。

本书第1章主要介绍信息安全和人工智能基础，供对这些知识不熟悉的读者参考。

本书第2章和第3章分别从人工智能信息系统安全和人工智能算法安全的角度，对人工智能安全的研究方法、研究手段进行详述，其中包含大量的真实例子、程序代码，供读者了解人工智能安全研究的细节，帮助读者迅速了解这个领域的基本情况，为日后深入研究打下基础。

本书第4章主要讨论人工智能辅助攻防新场景。本书第5章主要讨论人工智能安全生态。这两章的话题涉及人工智能安全另一层次的视角，希望能更全面地为读者梳理人工智能安全这一主题。

本书力求做到深入浅出、重点突出、简明扼要，尽可能方便不同专业背景和知识层次的读者阅读。在本书编写过程中，极棒实验室（GeekPwn Lab）给予了大力支持，清华大学研究生董胤蓬、庞天宇、程书宇、杨啸、桥本优、李钥儒、付祁安等做了大量的资料收集整理、书稿校对等工作，在此对他们的辛勤工作表示感谢。

人工智能技术发展日新月异，人工智能安全领域也是一样。本书不可避免地会存在疏漏和跟不上技术发展之处，敬请读者谅解。若本书能够使读者对人工智能安全研究领域有一定的了解，能够让更多的人关心人工智能安全研究，就达到目的了。