基于机器学习的交通信号智能控制方法研究开题报告

1. 研究目的与意义（文献综述）

交通信号灯作为城市道路中不可或缺的一部分时时刻刻都在起到指挥交通的作用，随着城市的发展与扩大，城市中的人口数和车流量也在不断增加，如果交通灯的指挥效率低下就会导致道路上的交通延误与能源浪费，更严重的还会导致交通事故，因此采用合适的方法对交通灯进行控制就变得尤为重要。目前交通灯的控制方法要么是设定一个程序，每个周期内的红灯绿灯亮灯时间是固定的，要么就是在道路下方设置传感器，通过检测有无车辆经过来改变交通灯的信号，如果交通状况发生改变这些方法都无法有效地减少路口处的延误与堵塞，因此现在就需要一种方法使交通灯能够自己观察目前的交通情况并联系以往经验，“学习”到一种使车辆平均延误时间减到最少的策略，从而能够对路口车辆进行有效的控制。

强化学习作为机器学习的一种，由于其不要求预先给定任何数据，而是通过接收环境对动作的反馈来获得学习信息并更新模型。强化学习被广泛应用于不需要大量训练集的场合，其中比较著名的就是alphago在围棋领域的大展身手。如果说道路上的传感器、摄像头以及车载网络组成了交通信号灯的“眼睛”，那么强化学习就可以作为交通灯的“大脑”，将收集到的数据进行处理并利用。强化学习有“奖励”、“行为”和“状态”三个要素，强化学习模型通过观察当前环境的状态选择一个所获奖励最大的行为，在与环境不断的互动过程中逐渐得到一种最佳的策略，然后再用这种策略与环境进行互动来不断学习。交通信号灯工作的方式满足强化学习对于环境的要求，因此可以将强化学习与交通灯相结合解决路口处的车流量控制问题，推动智能交通的应用与发展。

1.1 国外研究现状

2. 研究的基本内容与方案

本次设计的内容是基于机器学习的交通信号智能控制方法研究，研究目标如下：①实现十字路口交通情况的仿真；②实现交通信号灯强化学习模型的搭建；③将交通信号灯强化学习模型与十字路口交通情况关联并对其进行训练；④将训练后所得模型用于仿真系统实现交通信号灯的智能控制。为了实现这些研究目标，拟采取的技术方案及措施如下：首先需要构建一个训练系统，系统主要由环境和强化学习模型两部分组成，其中强化学习部分使用Q学习算法，它具有两个特点，第一是不需要预先知道环境模型，可以在一个陌生环境中不断学习；第二是可以在任务过程中的每一步都进行学习，Python语言的TensorFlow库是一个基于数据流编程的符号数学系统，被广泛应用于各类机器学习算法的编程实现，它提供了一些函数可用于Q学习算法的编写。环境部分则由Vissim软件进行仿真，Vissim是一种微观的、基于时间间隔和驾驶行为的仿真建模工具，用以城市交通和公共交通运行的交通建模，它提供的COM接口可以用Python语言进行二次开发，因此可以将模型与环境联系起来，首先用Vissim模拟出一个十字路口，十字路口处的交通灯采用四相位工作方式，将车均延误、排队长度等参数作为环境产生的状态输入到Q学习模型中，Q学习模型最终产生的策略主要体现在对各信号时长的控制上，再用仿真出来的十字路口评估该策略的好坏，由此组成完整的交通信号智能控制系统。

3. 研究计划与安排

1-3周：查阅相关文献资料，明确研究内容，了解研究所需的理论知识。确定方案，完成开题报告。

4-5周：熟悉掌握基本理论，完成英文资料的翻译，熟悉相关工具软件的使用。

6-8周：掌握交通控制的相关理论和机器学习相关算法。

4. 参考文献（12篇以上）

[1] l. prashanth and s. bhatnagar, “threshold tuning usingstochasticoptimization for graded signal control,” ieee transactions onvehicular technology, vol. 61, no. 9, pp. 3865–3880, november 2012.

[2] w. liu, g. qin, y. he, and f. jiang, “distributed cooperativereinforcement learning-based traffic signal control that integrates v2x networks’dynamicclustering,” ieee transactions on vehicular technology, vol. 66, no. 10, pp.8667–8681, october 2017.

[3] x. liang, x. du, g. wang and z. han, "a deep reinforcementlearning network for traffic light cycle control," ieee transactionson vehicular technology, vol. 68, no. 2, pp. 1243-1253, feb. 2019.