1. 研究目的与意义
人工智能（ai）领域的主要目标之一是生成完全自主的智能体（agent），与他们的环境（env）进行交互以学习最佳行为，并通过反复试验来逐步提高。制作反应灵敏且能够有效学习的人工智能系统一直是一个长期的挑战，从可以感知和反应周围世界的机器人到纯粹基于软件的代理，可以与自然语言和多媒体互动。一个有经验的自主学习的原理性数学框架是强化学习（rl）。尽管rl在过去取得了一些成功，先前的方法缺乏可扩展性，并且本质上局限于相当低维的问题。这些限制的存在是因为rl算法与其他算法具有相同的复杂度：内存复杂度，计算复杂度，以及机器学习算法中的样本复杂度。我们近年来见证了深度学习的兴起，依靠强大的函数逼近和深度神经网络的表示学习性质，为我们提供了克服这些问题的新工具。
深度学习的出现已经在机器学习的许多领域产生了重大影响，极大地推进了如目标检测，语音识别和语言翻译等任务最新技术的发展。深度学习最重要的特性是深度神经网络可以自动找到高维数据（例如图像，文本和音频）的简要低维表示（特征）。通过将神经网络结构（特别是分层表示）的归纳偏差制造出来，机器学习从业者在解决维数灾难方面取得了有效的进展。
深度强化学习（drl）将为人工智能领域带来革命性的变化，并代表着朝向构建对视觉世界有更高层次理解的自治系统迈出的一步。目前，深度学习使得强化学习能够扩展到以前难以解决的问题，例如直接从像素学习玩视频游戏（比如dqn玩atari游戏）。 深度强化学习算法也应用于机器人技术，允许机器人的控制策略直接从现实世界的摄像头输入中学习。
2. 研究内容和预期目标
本设计主要是搭建一套能进行车辆自动驾驶的训练平台并且进行车辆自动驾驶的仿真与模拟。 研究内容:
（1） 深入学习强化学习基本相关知识。
（2） 在ubuntu平台搭建torcs训练平台。
3. 研究的方法与步骤
（1）研究torcs平台搭建过程，并完成搭建。
（2）了解ddpg算法的基本流程。
（3）用ddpg算法实现训练平台的基本测试，验证算法的有效性。
4. 参考文献
[1]sutton r s, barto a g. 强化学习(第二版)[m]. 北京:电子工业出版社, 2019.
[2]夏伟. 基于深度强化学习的自动驾驶决策仿真[d]. 深圳: 中国科学院大学(中国科学院深圳先进技术研究院), 2017.
[3]何宁, 赵治国, 朱阳. 基于torcs平台的虚拟车辆仿真系统开发[j]. 中国制造业信息化, 2010, 39(15): 37-41.
5. 计划与进度安排
（1） 2022.1.10 ---- 2022.3.10 查阅资料，撰写开题报告，翻译英文资料
（2） 2022.3.11 ---- 2022.3.18 需求分析，熟悉开发工具
（3） 2022.3.19 ---- 2022.3.31 概要设计
