注释：本博文内容来源于文献：Wang X, Cheng Y, Sun W, et al. A Proposal of Adaptive PID Controller Based on Reinforcement Learning[J]. Journal of China University of Mining and Technology, 2007, 17(1): 40-44.
一、控制器结构框图
图1 基于强化学习的自适应PID控制器设计
整个控制系统包括两大部分：传统增量式PID、基于Actor-Critic的参数优化。两部分的功能如下：
传统增量式PID控制器：
（1）
由（1）可知，增量式PID控制器中关键参数为KI、KP、KD。因此如何调节这三个参数至关重要。
基于Actor-Critic的参数优化：利用强化学习的“试错”机制，经过不断尝试可以获得最优的一组控制参数，这里采用的智能体为Actor-Critic型的智能体。
二、关键技术
2.1 Actor-Critic型智能体
图2 Actor-Critic学习模型
整个智能体包括两部分：Actor和Critic，其中Actor用于更新策略函数，而Critic更新价值函数（利用TD法）。
Barto和Sutton提出的Actor-Critic学习算法，亦称自适应启发评价算法（adaptive heuristic critic，AHC），它提供了一种试图同时找到最优动作和期望值的方式。典型地，Actor-Critic学习模型主要由两个部分组成：动作评价网络（action evaluation network，AEN）或称Critic，和动作选择网络（action selection network，ASN）或称Actor。
图2给出了Actor-Critic学习模型的体系结构。由状态向量和环境提供的外部强化信号（立即回报）作为评判网络的输入，值函数的估计为输出，对动作网络的输出动作进行评价。Actor-Critic学习算法同时对值函数和策略进行估计，其中Actor用于进行策略估计，而Critic用于值函数估计。评价器产生的标量信号TD误差（内部强化信号）用于驱动评价器和行动器的所有学习，即Actor与Critic均采用TD法来学习策略函数和值函数。
2.2 RBF神经网络
图2 RBF神经网络结构
应用RBF神经网络的原因：
（1）传统的Actor-Critic型智能体在更新迭代过程中会产生大量的Policy function和Value function，智能体具有记忆功能，需要将这些函数存储起来，并在每次更新过程中选取最好的，这一过程需要大量的存储空间；
（2）利用RBF也能更快获取最优的Policy function和Value function，不必从大量的历史数据中去查找最优函数。
三、仿真与结果分析