强化学习与机器人控制 pdf下载

　　在《强化学习与机器人控制》一书中，专家团队不仅简洁明了地描述了人机交互控制方案，还深入介绍了新颖的无模型强化学习控制器。本书首先简述更先进的人机交互控制方案和强化学习，然后讲解典型的环境模型，最后介绍一些更著名的参数估计识别技术。

　　《强化学习与机器人控制》提供了严谨的数学推理和演示，这有助于读者理解控制方案和算法。书中还描述了人机交互控制和基于强化学习控制的稳定性和收敛性分析。另外，还讨论了一些前沿话题，如逆运动学和速度运动学解决方案、神经控制以及机器人领域未来可能的发展趋势。

● 全面介绍基于模型的人机交互控制

● 详细研究基于欧拉角的无模型人机交互控制和“人机回圈”机制控制

● 实际讨论机器人位置和力控制的强化学习以及机器人力控制的连续时间强化学习

● 深入研究使用强化学习来控制最坏情况下不确定性的机器人，并使用多智能体强化学习对冗余机器人进行控制

　Wen Yu，博士，墨西哥城国家政治研究所(CINVESTAV-IPN）投资研究中心的教授和自动化控制系主任，Modeling and Control of Uncertain Nonlinear Systems with Fuzzy Equations and Z-Number 一书的合著者。

　　Adolfo Perrusquía，博士，英国贝德福德郡克兰菲尔德大学航空航天、运输和制造学院的研究员。

第I部分

人机交互控制

第1章 介绍 2

1.1 人机交互控制 2

1.2 控制强化学习 5

1.3 本书的结构安排 6

第2章 人机交互的环境模型 10

2.1 阻抗和导纳 10

2.2 人机交互阻抗模型 15

2.3 人机交互模型的识别 18

2.4 本章小结 25

第3章 基于模型的人机交互控制 26

3.1 任务空间阻抗/导纳控制 26

3.2 关节空间阻抗控制 29

3.3 准确性和鲁棒性 30

3.4 模拟 33

3.5 本章小结 38

第4章 无模型人机交互控制 39

4.1 使用关节空间动力学进行任务空间控制 39

4.2 使用任务空间动力学进行任务空间控制 47

4.3 关节空间控制 48

4.4 模拟 49

4.5 实验 55

4.6 本章小结 65

第5章 基于欧拉角的回路控制 67

5.1 引言 67

5.2 关节空间控制 68

5.3 任务空间控制 74

5.4 实验 77

5.5 本章小结 89

第II部分

机器人交互控制的强化学习

第6章 机器人位置/力控制的强化学习 92

6.1 引言 92

6.2 使用阻抗模型的位置/力控制 93

6.3 基于强化学习的位置/力控制 96

6.4 模拟和实验 104

6.5 本章小结 110

第7章 用于力控制的连续时间强化学习 111

7.1 引言 111

7.2 用于强化学习的K均值聚类 112

7.3 使用强化学习的位置/力控制 116

7.4 实验 123

7.5 本章小结 129

第8章 使用强化学习在最坏情况下的不确定性机器人控制 130

8.1 引言 130

8.2 使用离散时间强化学习的鲁棒控制 131

8.3 具有k个最近邻的双Q学习 135

8.4 使用连续时间强化学习的鲁棒控制 142

8.5 模拟和实验：离散时间情况 146

8.6 模拟和实验：连续时间情况 154

8.7 本章小结 162

第9章 使用多智能体强化学习的冗余机器人控制 163

9.1 引言 163

9.2 冗余机器人控制 164

9.3 冗余机器人控制的多智能体强化学习 169

9.4 模拟和实验 174

9.5 本章小结 179

第10章 使用强化学习的机器人 2神经控制 180

10.1 引言 180

10.2 使用离散时间强化学习的 2神经控制 181

10.3 连续时间的 2神经控制 196

10.4 示例 209

10.5 本章小结 219

第11章 结论 220

附录A 机器人运动学和动力学 222

附录B 强化学习控制 235

机器人控制是控制理论和应用领域的一个热门话题，主要的理论贡献是利用线性和非线性方法，使机器人能够执行一些特定的任务。机器人交互控制是科学研究和工程应用领域的一个热门课题。机器人交互控制方案的主要目标是实现机器人与环境之间的预期性能，并能够安全、精确地运动。环境可以是机器人外部的任何材料或系统，如操作人员。机器人交互控制器可以根据位置、受力或两者结合进行设计。

最近，通过利用动态规划理论，强化学习技术被应用于最优控制和鲁棒控制。它们不需要具有系统动力学基础并且能够进行内部和外部更改。

从2013年开始，作者及其团队开始使用神经网络和模糊系统等智能技术研究人机交互控制。2016年，作者将更多注意力放在如何利用强化学习解决人机交互问题上。经过四年的工作，他们在关节空间和任务空间中提出了基于模型和无模型的阻抗和导纳控制的结果，还分析了闭环系统，并且讨论了无模型最优机器人交互控制和基于强化学习的位置/受力控制设计。他们研究了庞大的离散时间空间和连续时间空间中的强化学习方法。对于冗余机器人的控制，他们使用多智能体强化学习来解决，并分析强化学习的收敛性。将最坏情况下不确定性的鲁棒人机交互控制转化为“ 问题”，采用强化学习和神经网络设计并实现最优控制器。

本书假设读者熟悉基于经典和高级控制器进行机器人交互控制的一些应用，将进一步对系统识别、基于模型和无模型的机器人交互控制器进行系统性分析。本书适用于研究生以及执业工程师。阅读本书需要掌握的先决知识是：机器人控制、非线性系统分析，特别是Lyapunov方法、神经网络、优化技术和机器学习。本书还适用于许多对机器人和控制感兴趣的研究人员和工程师。

许多人对本书做出了贡献。第一作者要感谢CONACYT基金项目 CONACYT-A1-S-8216、CINVESTAV基金项目SEP-CINVESTAV-62和CNR-CINVESTAV基金项目提供的财政支持；他还要感谢妻子Xiaoou，她为本书投入了大量的时间和精力，没有她的帮助本书不可能完成。第二作者要衷心感谢他的导师Prof. Wen Yu对其博士研究的不断支持，感谢他给予的耐心、积极、热情和渊博的知识，在他的悉心帮助指导下才得以完成本书。此外，他还要感谢Prof. Alberto Soria、Prof. Rubén Garrido、Ing. José de Jesús Meza。最后，第二作者还要感谢他的父母Adolfo 和Graciela，他们为本书花费了许多时间和心血，没有他们，本书不可能顺利出版。

在此要说明的是，本书各章正文在涉及参考文献时，采用的是中括号内加数字的形式，如[3]、[3,8]、[3-10]这三种形式分别表示该章中的第3个参考文献、第3个和第8个参考文献、第3个到第10个参考文献。本书各章中的参考文献我们采用线上形式提供，读者可通过扫描封底二维码下载得到。