来源：arXiv:2005.00935v1 [cs.LG] 2 May 2020
作者：Ammar Haydari, Student Member, IEEE, Yasin Yilmaz, Member, IEEE
单位：the University of South Florida
年份：2020
链接：论文下载链接
关键词
deep reinforcement learning (RL)
traffic signal control (TSC)
intelligent transportation systems（ITS）
RL + 深度学习 = （deep RL）
Markov Decision Process（MDP）
摘要
本文详细讨论了基于深度强化学习（RL）的交通控制的最新应用，本文讨论了交通信号控制系统（TSC）的不同问题公式、RL参数和仿真环境，在文献中，也讨论了几个基于深度强化模型的自动驾驶汽车的研究案例。本文将现有的工作按照应用类型、控制模型和学习算法进行分类。最后，我们讨论了基于深度RL的交通应用所面临的挑战和有待解决的问题。
Index Terms—Deep reinforcement learning, Intelligent transportation systems, Traffic signal control, Autonomous driving,Multi-agent systems.
介绍
智能交通系统（ITS)的主要目标是提供安全、有效、可靠的运输系统。为此，交通信号优化控制(TSC)、自动车辆控制、交通流控制是研究的重点。
采用自适应模块控制交通灯是近年来ITS领域的一个研究热点。通过交通信号设计自适应交通管理系统是缓解交通拥堵的有效方法。对于研究人员来说，优化交通灯的最佳方法仍是一个悬而未决的问题，但优化TSC的一个有希望的方法是使用基于学习的人工智能技术。
有三种主要的机器学习方法。监督学习根据训练中提供的输出标签进行决策。无监督学习是基于模式发现而进行的，不需要预先知道输出标签。第三种机器学习方法是强化学习(RL)，它采用基于Markov Decision Process(MDP)的顺序行为，并带有奖励或惩罚标准。RL与深度学习(deep RL)相结合，被称为deep RL，是目前控制系统中最先进的学习框架。RL可以解决复杂的控制问题，而深度学习有助于从复杂的数据集得到高度逼近的非线性函数。
在这篇文章中，我们回顾了针对TSC问题提出的deep RL应用。该文献讨论了不同的RL方法。由于交叉口模型主要是连通的、分布式的，因此本研究涉及的multi-agent dynamic control techniques在基于RL的ITS应用中发挥着关键作用。
贡献
- 第一次全面地调查了RL和基于deep RL的ITS应用。
- 从广义的概念出发，阐述了RL和deep RL模型的理论背景，特别是在ITS文献中使用的模型。
- 对TSC中使用RL和deep RL的现有工作进行了讨论，并在表中进行了明确的总结，以便进行适当的比较。
- 同样，deep RL在其他ITS领域(如自动驾驶)的不同应用也被总结为表格以供比较。
论文结构
相关工作
最早总结涉及到RL及其他方法的TSC AI模型可追溯到2007年，当时，模糊逻辑、人工神经网络和RL是研究人员应用于TSC的三种流行的人工智能方法。由于ITS的连通性，multi-agent模型与single-agent模型相比，提供了更完整、更可行的解决方案。因此，将TSC问题构建为multi-agentxitong具有很大的研究潜力。
基于multi-agent RL的TSC的机遇和研究方向在文献[1]中有所描述。文献[2]从实验的角度讨论了文献中常用的RL方法。[3]比较全面地介绍了基于强化学习（RL）的交通信号控制（TSC）算法。[4]从更广阔的视角研究ITS中的AI方法。
Abduljabbar等人总结了[5]中基于人工智能的交通应用的文献，主要有三个主题:交通管理应用、公共交通和自动驾驶车辆。在[6]中，作者讨论了一般的TSC方法，包括经典的控制方法，驱动控制，绿波，最大频带(max-band)系统，和基于RL的控制方法。Veres等人在[7]中强调了深度学习应用的趋势和挑战。深度学习模型在深度RL中起着重要的作用。非线性神经网络在数据驱动的应用中克服了传统的挑战，如可扩展性。最近，在[8]中提出了一项关于自动驾驶车辆的深层RL应用的调查，其中作者讨论了在现实世界中部署这种基于RL的自动驾驶方法所面临的挑战。除了自动驾驶，在这个调查中，我们讨论了它的一个广泛的应用领域，其中深倒车越来越受欢迎，并对深倒车概念进行了全面的概述。
更新中。。。
参考文献
[1] A. L. Bazzan, “Opportunities for multiagent systems and multiagent reinforcement learning in traffic control,” Autonomous Agents and Multi-Agent Systems, vol. 18, no. 3, p. 342, 2009.
[2] P. Mannion, J. Duggan, and E. Howley, “An experimental review of reinforcement learning algorithms for adaptive traffic signal control,” in Autonomic Road Transport Support Systems. Springer, 2016, pp. 47–66.
[3] K.-L. A. Yau, J. Qadir, H. L. Khoo, M. H. Ling, and P. Komisarczuk, “A survey on reinforcement learning models and algorithms for traffic signal control,” ACM Computing Surveys (CSUR), vol. 50, no. 3, p. 34, 2017.
[4] W. Tong, A. Hussain, W. X. Bo, and S. Maharjan, “Artificial intelligence for vehicle-to-everything: A survey,” IEEE Access, vol. 7, pp. 10 823–10 843, 2019.
[5] R. Abduljabbar, H. Dia, S. Liyanage, and S. Bagloee, “Applications of artificial intelligence in transport: An overview,” Sustainability, vol. 11, no. 1, p. 189, 2019.
[6] H. Wei, G. Zheng, V. Gayah, and Z. Li, “A survey on traffic signal control methods,” arXiv preprint arXiv:1904.08117, 2019.
[7] M. Veres and M. Moussa, “Deep learning for intelligent transportation systems: A survey of emerging trends,” IEEE Transactions on Intelligent Transportation Systems, 2019.
[8] B. R. Kiran, I. Sobh, V. Talpaert, P. Mannion, A. A. A. Sallab, S. Yogamani, and P. P´erez, “Deep reinforcement learning for autonomous driving: A survey,” arXiv preprint arXiv:2002.00444, 2020.