一、基本概念

自适应动态规划（Adaptive Dynamic Programming, ADP）由美国学者Paul J. Werbos在1977年首次提出，是机器学习的重要分支 – 强化学习算法的理论基石。该方法以最优性原理为基础，融合人工智能的先进方法，模拟人通过环境反馈进行学习的思路，有效地解决了动态规划“维数灾”的问题。近年来，自适应动态规划被认为是一种非常接近人脑智能的自学习最优控制方法，并得到了广泛的关注。

二、经典书籍

                                          中科院自动化所刘德荣教授团队：自适应动态规划方法的研究进展

本书系统地阐述了自适应动态规划的原理、实现方法以及求解最优控制问题的具体过程，分三个部分介绍自适应动态规划方法在过去几年的研究进展。具体包括：

1. 离散时间非线性系统的自适应动态规划理论和方法；

2. 连续时间非线性系统的自适应动态规划理论和方法；

3. 三个理论联系实际的应用例子。

首先，本书介绍了自适应动态规划的基本原理和迭代自适应动态规划算法的实现过程，并进一步系统地阐述了自适应动态规划的发展历程和相关成果以及本书的内容安排。其次，该书介绍了离散时间非线性系统的自适应动态规划理论和方法，包括值迭代、策略迭代、广义策略迭代等算法，并分析了自适应动态规划方法的稳定性、收敛性与最优性，以及神经网络存在逼近误差情况下的自适应动态规划方法的性能分析方案。然后，该书介绍了连续时间非线性系统的自适应动态规划理论和方法，包括针对系统模型未知、存在不确定项以及含有关联子项的情况，分别建立自适应动态规划方法求解最优控制策略，并进一步分析了稳定性、收敛性、最优性与鲁棒性。最后，该书给出了自适应动态规划在智能微电网和过程控制中的应用，展示了自适应动态规划方法在实际系统中的优化控制效果。

本书由浅入深，系统地介绍了刘德荣教授团队自2010年以来在自适应动态规划领域取得的重要研究成果。尤其值得一提的是，本书包括了强化学习算法的理论分析工作。本书可作为高等学校智能控制、系统工程、人工智能、机器人、应用数学以及仪器科学与技术等专业的研究生或高年级本科生的教材，亦可供相关专业的科研人员和工程技术人员参考。