AI前沿深度强化学习与分布式机器学习套装共2册 pdf下载

本套装包含《分布式机器学习：算法、理论与实践》和《深度强化学习：学术前沿与实战应用》各1本

《分布式机器学习：算法、理论与实践》

全面展示分布式机器学习理论、方法与实践

微软亚洲研究院机器学习核心团队潜心力作

鄂维南院士、周志华教授倾心撰写推荐序

内容前沿全面，讨论系统深刻，全彩印刷

《深度强化学习：学术前沿与实战应用》

1.作者资深。本书由北京理工大学刘驰教授团队撰写；

2.直奔主题，理论结合实践。详解单智能体、多智能体深度强化学习和分布式、多任务深度强化学习相关算法，深入解读每种算法的代码原型实现；

3.领域应用分析：给出深度强化学习在游戏、机器人控制、计算机视觉和自然语言处理四大领域的实际应用，侧重讨论深度强化学习在不同领域应用的思想和方法；

4. 前沿经典综述：详述近五年深度强化学习领域的重要进展，涵盖新的算法理论、工程实现和领域应用，从基础到算法，再到典型应用场景。

《分布式机器学习：算法、理论与实践》

人工智能和大数据时代，解决最有挑战性问题的主流方案是分布式机器学习！《分布式机器学习：算法、理论与实践》旨在全面介绍分布式机器学习的现状，深入分析其中的核心技术问题，并且讨论该领域未来的发展方向。

由微软亚洲研究院机器学习核心团队潜心力作！鄂维南院士、周志华教授倾心撰写推荐序！

本书旨在全面介绍分布式机器学习的现状，深入分析其中的核心技术问题，并且讨论该领域未来的发展方向。

全书共12章。第1章是绪论，向大家展示分布式机器学习这个领域的全景。第2章介绍机器学习的基础知识。第3章到第8章是本书的核心部分，向大家细致地讲解分布式机器学习的框架及其各个功能模块。其中第3章给出整个分布式机器学习框架的综述，而第4章到第8章则分别针对其中的数据与模型划分模块、单机优化模块、通信模块、数据与模型聚合模块加以介绍。接下来的三章是对前面内容的总结与升华。其中第9章介绍由分布式机器学习框架中不同选项所组合出来的各式各样的分布式机器学习算法，第10章讨论这些算法的理论性质，第11章则介绍几个主流的分布式机器学习系统（包括Spark MLlib 迭代式MapReduce系统，Multiverso参数服务器系统，TensorFlow数据流系统）。最后的第12章是全书的结语，在对全书内容进行简要总结之后，着重讨论分布式机器学习这个领域未来的发展方向。

本书基于微软亚洲研究院机器学习研究团队多年的研究成果和实践经验写成，既可以作为研究生从事分布式机器学习方向研究的参考文献，也可以作为人工智能从业者进行算法选择和系统设计的工具书。

人工智能大潮中，市场上已有许多机器学习书籍，但是分布式机器学习的专门书籍还很少见。本书是希望学习和了解分布式机器学习的读者的福音。

《深度强化学习：学术前沿与实战应用》

本书共分为四篇，即深度强化学习、多智能体深度强化学习、多任务深度强化学习和深度强化学习的应用。由浅入深、通俗易懂，涵盖经典算法和近几年的前沿技术进展。特别是书中详细介绍了每一种代表性算法的代码原型实现，旨在理论与实践相结合，让读者学有所得、学有所用。
第一篇（包含第1～3章）主要讲解深度强化学习基础，侧重于单智能体强化学习算法，相对简单，有助于初级读者理解，同时涵盖了近几年的经典算法和一些前沿的研究成果。
第二篇（包含第4～5章）主要侧重于对多智能体深度强化学习的讲解，从多智能体强化学习基本概念到相关算法的讲解和分析，以多个极具代表性的算法为例带领读者逐步学习多智能体训练及控制的理论与方法。同时，还介绍了多智能体强化学习领域一些前沿学术成果。
第三篇（包含第6～7章）扩展到多任务场景，称为多任务深度强化学习。首先介绍了多任务强化学习的基本概念和相关基础知识，随后讲解了部分经典的多任务深度强化学习算法。
第四篇（包含第8～11章）主要讲解深度强化学习的实际应用，涉及游戏、机器人控制、计算机视觉和自然语言处理四大领域。通过领域应用中思想和方法的讲解，培养读者跨领域解决实际问题的能力，以帮助读者熟练掌握和使用深度强化学习这一强大的方法来解决和优化实际工程领域中的问题。

《分布式机器学习：算法、理论与实践》

刘铁岩，微软亚洲研究院副院长。刘博士的先锋性研究促进了机器学习与信息检索之间的融合，被国际学术界公认为“排序学习”领域的代表人物。近年来在深度学习、分布式学习、强化学习等方面也颇有建树，发表论文200余篇，被引用近两万次。多次获得最佳论文奖、引用论文奖、Springer十大畅销华人作者、Elsevier 高引中国学者等。被聘为卡内基-梅隆大学（CMU）客座教授，诺丁汉大学荣誉教授，中国科技大学教授、博士生导师；被评为国际电子电气工程师学会（IEEE）会士，国际计算机学会（ACM）杰出会员。

陈薇，微软亚洲研究院机器学习组主管研究员，研究机器学习各个分支的理论解释和算法改进，尤其关注深度学习、分布式机器学习、强化学习、博弈机器学习、排序学习等。2011年于中国科学院数学与系统科学研究院获得博士学位，同年加入微软亚洲研究院，负责机器学习理论项目，先后在NIPS、ICML、AAAI、IJCAI等相关领域顶会和期刊上发表文章30余篇。

王太峰，蚂蚁金服人工智能部总监、资深算法专家。在蚂蚁金服负责AI算法组件建设，算法工作服务于蚂蚁金服的支付、国际、保险等多条业务线。在加入蚂蚁之前在微软亚洲研究院工作11年，任主管研究员，他的研究方向包括大规模机器学习、数据挖掘、计算广告学等。在国际顶会上发表近20篇的论文，在大规模机器学习工具开源方面也做出过很多贡献，在微软期间主持开发过DMTK的开源项目。

高飞，微软亚洲研究院副研究员，主要从事分布式机器学习和深度学习的研究工作，并在国际会议上发表多篇论文。2014年设计开发了当时规模*大的主题模型算法和系统LightLDA。他还开发了一系列分布式机器学习系统，并通过微软分布式机器学习工具包（DMTK）开源在GitHub上。

《深度强化学习：学术前沿与实战应用》

刘驰
北京理工大学计算机学院副院长、教授、博士生导师，英国工程技术学会会士（IET Fellow），IEEE高级会员（IEEE Senior Member），英国计算机学会会士（Fellow of British Computer Society）和英国皇家艺术学会会士（Fellow of Royal Society of Arts）。分别于清华大学和英国帝国理工学院获得学士和博士学位，曾任美国IBM T.J. Watson研究中心和IBM中国研究院研究主管，并在德国电信研究总院（柏林）任博士后研究员。研究方向为大数据与物联网技术。主持了国家自然科学基金、国家重点研发计划课题、工信部、教育部、装发预研等20余省部级研究项目。共发表SCI/EI论文百余篇，其中ESI高被引论文2篇、CCF- A类论文20余篇，授权国内外发明专利14项，编写书籍9本，Google Scholar索引3500余次，H index为28。现任国家自然科学基金会评专家、科技部重点研发计划会评专家、教育部科技奖评审专家、全国信标委技术委员会委员、中国电子学会理事、中国计算机学会青工委委员、中国计算机学会物联网/大数据/普适计算专委会委员、中国电子学会物联网专委会委员/副秘书长、中国自动化学会大数据专委会委员、中国通信学会物联网专委会委员等；以及IEEE Transactions on Network Science and Engineering编委、IEEE ICC 2020 Symposium Chair for Next Generation Networking。入选了国家人社部“高层次留学人才回国资助计划”、中国科协“青年人才托举工程”、陕西省第八批“百人计划（短期项目）”、中国产学研合作促进奖、中国电子学会优秀科技工作者、国家“十二五”轻工业科技创新先进个人、2017年中国物联网年度人物等。并获得省部级一等奖1项、二等奖1项、三等奖1项。

近几年，机器学习在许多领域取得了前所未*的成功，由此也彻底改变了人工智能的发展方向，引发了大数据时代的到来。其中最富有挑战性的问题是由分布式机器学习解决的。所以，要了解机器学习究竟能够带来什么样的新机遇、新突破，就必须了解分布式机器学习。

　　相比较而言，机器学习这个领域本身是比较单纯的领域,其模型和算法问题基本上都可以被看成纯粹的应用数学问题。而分布式机器学习则不然,它更像是一个系统工程，涉及数据、模型、算法、通信、硬件等许多方面，这更增加了系统了解这个领域的难度。刘铁岩博士和他的合作者的这本书，从理论、算法和实践等多个方面,对这个新的重要学科给出了系统、深刻的讨论，对整个机器学习、大数据和人工智能领域都是很大的贡献。我看了这本书受益匪浅。相信对众多关注机器学习的工作人员和学生，这也是一本难得的好书。

　　——鄂维南 中国科学院院士，美国数学学会、美国工业与应用数学学会会士

　　普林斯顿大学、北京大学教授，北京大数据研究院院长

　　如果说人工智能技术将造就人类的未来时代，那么作为人工智能的核心支撑，机器学习将会像电力一样无处不在。如何让机器学习技术在业界的大规模任务中更充分地发挥威力，则成为热议的话题,目前更主流的解决方案是分布式机器学习。分布式机器学习并非分布式处理技术与机器学习的简单结合。一方面，它必须考虑机器学习模型构成与算法流程本身的特点，否则分布式处理的结果可能失之毫厘、谬以千里；另一方面，机器学习内含的算法随机性、参数冗余性等，又会带来一般分布式处理过程所不具备的、宜于专门利用的便利。

　　值得一提的是，市面上关于机器学习的书籍已有许多，但是分布式机器学习的专门书籍还颇少见。刘铁岩博士是机器学习与信息检索领域的国际著名专家，带领的微软亚洲研究院机器学习研究团队成果斐然。此次他们基于分布式机器学习方面的丰富经验推出《分布式机器学习：算法、理论与实践》一书，将是希望学习和了解分布式机器学习的中文读者的福音，必将有力促进相关技术在我国的推广和发展。

　　——周志华 欧洲科学院外籍院士，ACM / AAAS / AAAI / IEEE / IAPR 会士

　　南京大学教授、计算机科学与技术系主任、人工智能学院院长

《分布式机器学习：算法、理论与实践》

近年来，人工智能取得了飞速的发展，实现了一个又一个技术突破。这些成功的幕后英雄是海量的训练数据、超大规模的机器学习模型以及分布式的训练系统。一系列有关分布式机器学习的研究工作，从并行模式、跨机通信到聚合机制，从算法设计、理论推导到系统构建，都在如火如荼地展开。人们不仅发表了大量的学术论文，也开发出一批实用性很强的分布式机器学习系统。本书的目的是向读者全面展示分布式机器学习的现状，深入分析其中的核心技术问题，并且讨论该领域未来发展的方向。本书既可以作为研究生从事分布式机器学习方向研究的参考文献，也可以作为人工智能从业者进行算法选择和系统设计的工具书。

　　全书共12章。第1章是绪论，向大家展示分布式机器学习这个领域的全景。第2章介绍机器学习的基础知识，其中涉及的基本概念、模型和理论，会为读者在后续章节中更好地理解分布式机器学习的各项技术奠定基础。第3章到第8章是本书的核心部分，向大家细致地讲解分布式机器学习的框架及其各个功能模块。其中第3章对整个分布式机器学习框架做综述，而第4章到第8章则针对其中的数据与模型划分模块、单机优化模块、通信模块、数据与模型聚合模块分别加以介绍，展示每个模块的不同选项并讨论其长处与短板。接下来的三章是对前面内容的总结与升华。其中第9章介绍由分布式机器学习框架中不同选项所组合出来的各式各样的分布式机器学习算法，第10章讨论这些算法的理论性质（例如收敛性），第11章则介绍几个主流的分布式机器学习系统（包括Spark MLlib、Multiverso参数服务器系统和TensorFlow数据流系统）。最后的第12章是全书的结语，在对全书内容进行简要总结之后，着重讨论分布式机器学习这个领域未来的发展方向。

　　有关本书的写作，因为涉及分布式机器学习的不同侧面，不同的章节对读者预备知识的要求有所不同。尤其是涉及优化算法和学习理论的部分，要求读者对于最优化理论和概率统计有一定的知识储备。不过，如果读者的目的只是熟悉主流的分布式机器学习框架和系统，则可以跳过这些相对艰深的章节，因为其余章节自成体系，对于理论部分没有过多的依赖。

　　我仍然清晰地记得，两年以前华章公司的姚蕾编辑多次找到我，希望我能撰写一本关于分布式机器学习的图书。一方面被姚蕾的诚意打动，另一方面也考虑到这样一本书对于在校研究生和人工智能从业者可能有所帮助，我最终欣然应允。然而，平时工作过于繁忙，真正可以用来写书的时间非常有限，所以一晃就是两年的时光，直至今日本书才与读者见面，内心十分惭愧。

　　回顾这两年的写作过程，有很多人需要感谢。首先，我要感谢本书的联合作者：陈薇博士负责书中与优化算法和学习理论有关的内容，王太峰和高飞则主要负责通信机制、聚合模式和分布式机器学习系统等方面的内容。没有他们夜以继日的努力，本书无法成文。在写作过程中，本书的各位作者得到了家人的大力支持。写书之路实属不易，如果没有她（他）们的默默奉献，作者们很难集中精力，攻克这个艰巨的任务。其次，我要感谢诸多为本书的写作做出过重要贡献的人：我在中国科学技术大学的博士生郑书新花费了大量的精力和时间帮助我们整理了全书的参考文献；北京大学的孟琪同学则帮助我们对全书做了细致的校验；华章公司的编辑姚蕾和迟振春对我们的书稿提出了很多宝贵的意见；普林斯顿大学教授、中国科学院院士鄂维南博士，以及南京大学教授周志华博士分别为本书题写了推荐序。正是因为这么多幕后英雄的奉献，本书才得以顺利面世。最后，我还要感谢微软亚洲研究院院长洪小文博士，他的大力支持使得我们在分布式机器学习这个领域做出了很多高质量的研究工作，也使得我们有机会把这些成果记录下来，编纂成书，与更多的同行分享。

　　惭愧的是，即便耗时两载，即便集合了多人的智慧和努力，本书的写作仍然略显仓促。加之分布式机器学习这个领域飞速发展，本书成稿之时，又有很多新的研究成果发表，难以周全覆盖。再则，本书的作者才疏学浅，书中难免有疏漏、错误之处，还望读者海涵，不吝告知，日后加以勘误，不胜感激。

　　刘铁岩

　　于北京中关村

　　2018年6月

《深度强化学习：学术前沿与实战应用》

随着计算设备算力的不断提升和可用数据量的持续积累，基于大数据的机器学习（Machine Learning）方法近年来得到了空前的发展，且可以预见在一段时间内还将继续飞速发展。机器学习的突出成就离不开深度学习（Deep Learning）。深度神经网络的出现，使得原始图像、视频和自然语言等数据源可作为输入和输出，从而为诸多复杂问题提供了强大的解决方案。基于深度学习的人工智能产品也正在快速渗入和改变着我们的日常生活，如人脸识别、购物网站的个性化推荐、无人驾驶等。此外，机器翻译、自主决策、目标跟踪及一系列技术成果也在医疗、教育和网络安全等重要领域得到了实质性的应用。
强化学习（Reinforcement Learning），又称再励学习、评价学习，是机器学习的一个重要分支，传统上主要用于解决与环境交互过程中的自主决策和自动控制问题，通过不断改善智能体自身的行为，学得最优的行动策略。广义上说，任何有“决策”的任务都可以使用强化学习方法，比如无人驾驶、机器人控制、游戏竞技等，但也不限于此，比如个性化推荐算法、网络传输等非控制领域也可以使用强化学习方法。近年来，最著名的强化学习应用当属AlphaGo围棋，其学得的策略所表现出的控制/决策能力已经达到甚至超过了人类顶级水平，其中使用了深度强化学习（Deep Reinforcement Learning）。深度强化学习是强化学习的重要发展，是指采用深度神经网络作为模型的强化学习方法。它的起源很早，但著名的案例是Google DeepMind在2013年NIPS研讨会上发表的DQN（Deep Q Network）方法，该方法在多款Atari游戏中取得了不俗的表现。之后，深度强化学习的发展便一发不可收拾，学术界和工业界均大力推动其发展。本书重点讲解深度强化学习近年来的重要进展及其典型应用场景。
本书共分为四篇，即深度强化学习、多智能体深度强化学习、多任务深度强化学习和深度强化学习的应用，内容由浅入深、通俗易懂，涵盖近几年最经典、最前沿的技术进展。特别是书中详细介绍了每一种算法的代码原型实现，做到了理论与实践相结合，让读者学有所得、学有所用。
第一篇主要讲解深度强化学习基础，侧重于单智能体强化学习算法，相对简单，有助于初级读者理解。本篇包含第1～3章，从基础到算法，分类清晰。

l 第1章主要讲解强化学习的发展历史、基本概念及一些相关的基础知识，以帮助读者对强化学习有一个全面的了解和认知，也为本书后面的重点章节提供基础性的知识铺垫。

l 第2章侧重于讲解基于单智能体的深度强化学习算法，涵盖了DQN、DDPG、Rainbow等典型算法，以及最新的研究成果，如基于模型、基于分层的深度强化学习算法等。

l 第3章提供了一些分布式深度强化学习方法，以适应分布式计算的情况，有助于缩短模型的训练时间和进行大规模任务的计算。

第二篇主要侧重于对多智能体深度强化学习的讲解，承接上一篇的单智能体环境，本篇将问题复杂化，扩大到多智能体的情况。本篇包含第4章和第5章，从多智能体强化学习基本概念到相关算法的讲解、分析，以多个极具代表性的算法为例带领读者逐步学习多智能体训练和控制的理论与方法。此外，还为读者提供了当下多智能体强化学习领域最前沿的一些学术成果，紧跟发展潮流。

l 第4章主要讲解多智能体的基本概念及相关的背景知识，以帮助读者更好地进入多智能体世界。

l 第5章按类别讲解大量多智能体强化学习算法，从基于值函数的算法到基于策略的算法，再到基于AC框架的算法，应有尽有。本章囊括了当下大部分经典和前沿研究，让读者在掌握经典知识的同时也能够把握最新的发展方向。

第三篇再一次将问题复杂化，扩大到多任务的情况，也称为多任务深度强化学习。与多智能体强化学习明显不同，多任务强化学习既可以是单智能体多任务的情况，也可以是多智能体多任务的情况，因此情况变得更为复杂了。结构如同第二篇，本篇依然是首先介绍多任务强化学习的基本概念和相关基础知识（第6章），随后讲解部分经典的多任务强化学习算法（第7章）。由于多任务强化学习依然是较为前沿的研究方向，所以本篇的算法相对少一些。

l 第6章主要介绍多任务强化学习的基本概念和相关知识，让读者对其有一个详细的了解和认知，以帮助读者顺利地步入多任务深度强化学习场景。

l 第7章主要讲解4个多任务强化学习算法、框架，这些方法大都源自DeepMind团队，代表着多任务强化学习领域最为经典和前沿的工作。

第四篇包括第8～11章，主要讲解强化学习特别是深度强化学习的一些实际应用，涉及游戏、机器人控制、计算机视觉和自然语言处理四大领域。本篇侧重于讲解深度强化学习方法在其他领域应用的思想和方法，培养读者跨领域解决问题的能力，以帮助读者熟练掌握和使用深度强化学习这个强大的方法去解决、优化其他领域中的一些实际问题。

l 第8章给出深度强化学习方法在游戏领域的应用，这也是一个极有意思的领域，例如，DQN的代表作就是玩Atari游戏，并且超越了人类顶级玩家。本章重点讲解如何把游戏场景建模为强化学习问题，以及训练模型自动玩Atari游戏的核心过程和相关代码。

l 第9章主要给出深度强化学习算法在机器人控制领域的应用实例，包括无地图导航、视觉导航、机器人足球等，侧重于讲解仿真环境中机器人控制问题的分析、建模和实践性解决方案。

l 第10章给出强化学习与计算机视觉领域相结合的例子，分析了将深度强化学习技术应用于图像、视频的详细过程，例如，图像字幕、图像恢复、视频快进和视觉跟踪等。

l 第11章则讲解深度强化学习应用于自然语言处理方面的实例，如对话机器人、情感–情感翻译和远程监督关系提取等。深度强化学习与自然语言的结合目前还是较为前沿的研究方向，还有许多领域相关问题读者也可以亲自尝试着去解决。

本书的编撰人员包括：刘驰、王占健、戴子彭、马晓鑫、朴成哲、林秋霞、赵一诺、赵映、李世林、刘文鼎。
深度强化学习技术发展迅速，属于当下最热门的前沿技术之一。因作者能力、水平有限，书中难免出现不足与谬误之处，还请读者多多包涵，同时也恳请读者给予批评指正，不胜感激。