一、课题背景和意义
近年来,全球国际政治形势趋于复杂化、严峻化,海域内生态环境恶化。如何合理的开发海洋资源,有效保护国家领海主权,是各国当下面临的重要任务。另外,水下目标识别一直以来都困扰着国内外水声界,如何提高水下目标识别的精度与速度是各国迫在眉睫的重大研究课题。在这样的迫切需求和研究背景下,急需展开基于强化深度学习的水下目标探测等关键技术的研究。
现代声纳系统中，多用声纳阵列采集水下声信息，以获得更高的信噪比和时空分辨能力，对所获取的信号进行处理分析，可以完成探测、定位和识别的任务。依据所使用的声纳类型及信号的获取方式，可以将其分为主动式与被动式，主动式声纳依靠目标的回波完成对目标的定位和识别，但自身隐蔽性较差;被动式声纳则利用目标的辐射噪声完成对目标的识别，系统本身不辐射能量,不易被发现,具有很好的隐蔽性且工作距离远。[11]被动声纳目标识别技术长期以来受到研究者们的重点关注，也是声纳领域中的研究难题之一。
二、国内外研究现状
水下目标的被动识别的核心任务是从声纳阵列信号中分析出目标的有效信息。在传统技术框架下，相关工作主要围绕两个方向展开，一方面是特征提取技术，另一方面是在特征基础上的分类技术。构建高精度和高效率的目标识别分类器并提取与其相适应的特征是水下目标被动识别研究的重点内容。从早期的针对目标提取独立特征的 方法，到建立目标辐射噪声特征库并进行模糊匹配的方法，水下目标被动识别技术取得长足进展。然而，受限于环境复杂性与目标对抗性等不利因素，基于传统技术框架的水下目标被动识别方法正逐渐陷入困境。
将深度学习与强化学习结合,使智能体同时拥有深度学习的理解能力和强化学习的决策能力。2013和2015年DeepMind的DQN可谓是将两者成功结合的开端，它用一个深度网络代表价值函数，依据强化学习中的Q-Learning，为深度网络提供目标值，对网络不断更新直至收敛。DeepMind 团队进一步将深度强化学习应用到动作空间更大、策略更复杂的围棋游戏上，开发的 AlphaGo 程序基于深度神经网络，采用蒙特卡洛树搜索算法( Monte Carlo Tree Search， MCTS) ，同时融合监督学习和强化学习的训练方式，学习到超出人类水平的围棋策略，于2016年击败顶级人类棋手李世石，并于2017 年击败围棋世界冠军柯杰。基于深度强化学习的方法也取得了重大进展。因此将深度强化学习应用于水声技术领域的相关研究蕴含着巨大潜力。
目前国内外针对水下目标识别的研究均处于初期阶段，对深度学习用于水下目标识别的研究要多于深度强化学习。一般而言，深度强化学习的应用需要与大数据相结合，但受现实条件所限，往往难以收集到充足的数据进行模型训练，使深度神经网络的性能受到较大的限制。尽管如此，迫切的需求仍促使深度强化学习在水下目标被动识别中的应用不断发展。
本系统涉及到的算法主要分为:
- 特征提取算法
1.传统的水下目标特征提取方法
在深度学习方法出现以前，传统分类器的建模能力相对有限，因而特征提取长期以来一直是水下目标被动识别的关键环节。特征提取的基本原则是在提升类间区分性的同时保有类内的一致性。传统特征提取方法主要依靠人类经验，根据不同目标的信号特点采用时频分析方法获得。主要方法是滤波器组(Filter Banks，FBank)特征,它通过使用一组滤波器来抽取信号的能量分布信息。首先对信号进行标准的时频变换，通过分帧、加窗和快速傅里叶变换获取信号的频谱信息。以此为基础，通过设计一组滤波器对频谱进行分割，从而统计出信号在不同频带上的能量分布情况。
