1. 研究目的与意义
近年来城市交通的迅速发展，城市道路无论从密度还是车流量来说，都相较过去有所增大。交通信号灯的出现，使城市道路交通得以得到有效官制，对于舒缓交通流量、提高道路通行能力、降低交通事故的发生概率都有着显著的改善。因此必须管理城市基础设施以有效的应对这样的增长，对任意城市交通而言有效缓解交通压力的途径主要有三种：（1）加快城市道路的建设；（2）加快城市地铁建设；（3）高效控制城市交通灯。其中途径 1 和途径 2 都需要大量的财力和有限的城市土地资源环境做支持，并且在建设初期会进一步加剧城市交通的拥堵，虽然在未来可以适当缓解城市交通压力，但是并不是快速解决交通拥堵的方法，所以高效的城市路口交通灯控制才是缓解交通压力更为快速有效的途径。目前城市交通灯控制主要有三种途径：（1）定时控制系统，每个交通灯控制设备已设置好每个相位执行的顺序和时长，不考虑车流的动态变化；（2）车辆驱动信号控制，通过路口安装的感应设备来动态决定某一相位执行时长的增加或是减少，相比较于定时控制系统已考虑车辆的动态流量；（3）交通灯自适应控制，通过当前路网路口车辆的交通状态动态自适应的管理调配应执行相位和时长路网路口车辆的交通状态动态自适应的管理调配应执行相位和时长。。在自适应交通灯控制系统中考虑机器学习和人工智能技术可进一步改善系统的有效性灯控制系统中考虑机器学习和人工智能技术可进一步改善系统的有效性。强化学习和深度学习是目前在机器学习和人工智能领域很热的研究方向，并在城市交通灯控制中取得了不错的效果城市交通灯控制中取得了不错的效果。强化学习和深度学习不需要提前了解城市道路环境和具体的车流状况，仅需要通过与城市道路环境的交互获取先验知识来学习形成一定的智能判别系统，在环境中获取状态后得到的奖励激励城市道路交通灯做出更优的相位动作。自适应城市交通灯控制利用深度学习可进一步优化现有的单路口算法并与实际结合需要考虑多路口之间的协作控制，这将会是国内外在城市智慧交通方向研究的热点，我国智慧交通的发展同样需要深度学习等先进技术的支撑。
由于社会经济的发展，城市交通问题渐渐的受到人们更多的关心。人，车，路关系的协调成为交通管理部门亟待解决的重要问题之一。如何使用适当的控制方法来充分利用昂贵的城市高速道路，以缓解主要道路和匝道以及城市周边地区的交通拥堵这一问题成为人们当前讨论的热门问题。2. 研究内容和预期目标
(1)研究内容：
本课题主要研究基于深度强化学习的交通灯信号控制方法。主要分为两个内容，一是交通信号灯系统的工作原理及其控制系统的发展状况，二是基于深度强化学习，根据十字路口两个方向上车辆动态状况，自动判断红绿灯时间间隔，以保证最大车流量，减少道口的交通堵塞，提高交叉口的交通通行效率。
(2)预期目标：
3. 研究的方法与步骤
主要内容:
（1）深入研究基于强化学习的基本原理和基本方法；
（2）研究深度强化学习方法，包含基于值函数的深度强化学习方法与基于策略梯度的强化学习方法；
4. 参考文献
[1] 安萌萌. 基于强化学习的交通灯智能调控研究[d]. 西安: 西安理工大学, 2019.
[2] 夏新海. 面向城市自适应交通信号灯控制的强化学习方法研究[d]. 广州: 华南理工大学, 2013.
[3] 刘义, 何均宏. 强化学习在城市交通信号灯控制方法中的应用[j]. 科技导报, 2019, 37(6): 84-90.
5. 计划与进度安排
（1） 2022.1.10 ---- 2022.3.10 查阅资料，撰写开题报告，翻译英文资料
（2） 2022.3.11 ---- 2022.3.18 需求分析，熟悉开发工具
（3） 2022.3.19 ---- 2022.3.31 概要设计
