面向增强学习的主机响应建模方法研究开题报告

全文总字数：6876字

1. 研究目的与意义（文献综述）

在当前信息技术迅速发展的时代，智能船舶的发展具有相当重要的战略意义。其中动力系统的智能化、无人化也将成为我们关注的重点，而动力系统的发展也离不开当前在人们生活中起到越来越大作用的强化学习。如何做到船舶动力系统与强化学习的良好结合更是现在的重中之重，关系到动力系统的智能化、无人化战略的实施。但当前问题在于现有船舶动力系统的模型并不足以支持强化学习与其的结合，存在理论值与实际值差距较大、延迟较长、预测较粗略的问题，因此建立新的主、舵机响应性模型刻不容缓，需要做到可以根据输入动作计算下一秒状态的精准模型，以此完成对于主机系统运行状态的精准描述。例如，当船舶备车时，输入时间指令可以达到预测下一秒的气缸状况和转速状态。当精确性得以保证，我们可以实现强化学习的目的。什么时候完车，完车时间长短，什么时侯冲车，冲车时间长短等等，完成主机操纵的最优解。而在这中间，人的作用将会被大幅度削减，也就可以减少因人的主观原因造成机舱事故的几率。面向增强学习的主机响应建模方法研究也能从根源上解决相应问题，其对于智能船舶的航行、操纵和安全问题可以提供理论方法和技术支撑。

中国船级社（ccs）在其发布的《智能船舶规范》中，将智能船舶定义为利用传感器、通信、物联网、互联网等技术手段，自动感知和获得船舶自身、海洋环境、物流、港口等方面的信息和数据，并基于计算机技术、自动控制技术和大数据处理和分析技术，在船舶航行、管理、维护保养、货物运输等方面实现智能化运行的船舶，以使船舶更加安全、更加环保、更加经济和更加可靠。 近年来，中国、英国、法国、日本、挪威、德国船级社均已提出有关智能船舶（或称自主航行船舶、无人船）的规范、指南，此外，韩国船级社（kr）正在参与“可信度高的无人船运用技术及基础构建”的课题，也将提出自主航行船舶指南，可见研发智能船舶已经得到了我国、欧洲国家及日韩船舶行业的共识。国内专家也对船舶具体领域之主机调速系统有了研究^[15]。

2. 研究的基本内容与方案

l 目前研究存在的问题

从目前研究来看，主要存在以下两个问题：

（1）国际上对于智能船舶较为重视投入较大，但仅为宏观上建立和设计智能船舶的各个系统间，对于现在强化学习在智能船舶领域的应用还没形成系统化和规范化的应用，没能充分发挥强化学习获得最优解的特点。

（2）为了实现强化学习在智能船舶各领域的合理应用，我们需要考虑船舶动力系统的影响，即目前的模型能否满足强化学习的需要，为强化学习提供合适的环境。而现存船舶动力系统模型存在实际输出参数与理论输出参数延迟、滞后的问题，实际船舶存在延迟、滞后的情况，现有船舶模型不能解决这一问题，所以要建立主机、舵机的响应模型。本文旨在通过智能船舶整体发展趋势分析、归纳的基础上，尤其是强化学习日益流行的潮流下，加强强化学习与智能船舶融合趋势，提高强化学习在智能船舶领域的应用比例。并考虑面向强化学习时需要考虑动力系统影响的问题，建立更为精准的动力系统响应性模型，做到更为精准的建模仿真。为强化学习在智能船舶的应用提高更好的环境，推动智能船舶领域的优化发展。

3研究目标、研究内容和拟解决的关键问题

3.1研究目标

在实现强化学习在智能船舶各领域的合理应用过程中，我们需要考虑船舶动力系统的影响，为强化学习提供合适的环境。而实际船舶存在延迟、滞后的情况，现有船舶模型不能解决这一问题，所以要建立主机、舵机的响应模型。本文旨在通过智能船舶整体发展趋势分析、归纳的基础上，尤其是强化学习日益流行的趋势下，顺应强化学习与智能船舶融合趋势，提高强化学习在智能船舶领域的应用比例。同时针对现有模型无法满足强化学习需要的问题，建立更为精准的动力系统响应性模型，做到更为精准的建模仿真。为强化学习在智能船舶的应用提高更好的环境，推动智能船舶领域的优化发展。

3.2研究内容

（1）船舶动力系统仿真建模

建立智能船舶低速主机仿真模型，包括建立稳态工况仿真模型和动态工况仿真模型，本文将低速机的动态工况视作低速机由一个稳态工况向另一个稳态工况运行的过程，建立低速机稳态仿真模型则是工作的基础。对智能船舶低速主机的参数及低速机仿真建模理论进行深入研究和分析，并对应用于智能船舶上的低速机进行整机建模、稳态模型修正及修正后模型的仿真结果分析。

建立智能船舶舵机仿真模型，利用MATLAB下的simhvdraulic液压元件库对舵机的液压回路进行进行建模，建立物理模型；对舵机系统的其他部分(包括PlD控制器)建立数学模型，将两种模型在MATLAB下连接进行相关参数设置后组成整个舵机系统的仿真模型。

（2）船舶动力系统的响应性模型

响应建模的概念为现存模型中函数可能有各种各样的缺陷，难以直观的判别最优区域，故将体系的响应作为一个或多个因素的函数，运用图形技术将这种函数关系显示出来，重点即在建立一个合适的响应性数学模型，并且求得数学模型中的相应参数。针对主机的响应性模型，首先构建二阶系统的数学模型，并建立主机、舵机的数学模型，得到船舶主机的额定输出转速与实际输出转速并作为响应性模型的两个输入，最后利用模糊规则整定参数，得到船舶主机响应性模型。并在最后再通过实验数据进行验证。

舵机则为同样的方法步骤，构建二阶系统的数学模型，并通过舵机的数学模型得到输出舵角并采集实际舵角，利用模糊规则得到相应参数，最终得到舵机的响应性模型并通过实验验证。

（3）针对舵机的操作约束

针对舵机的汇报函数建模，增加对于舵机现实运转的种种约束条件。

船舶航向能够进行保持或改变离不开舵机的控制，如果舵机发生故障无法正常工作，船舶航向失去控制，甚至发生事故。根据IMO的《国际海上人命安全公约》(SOLAS公约)和我国《钢质海船人级与建造规范》的相关规定，舵机必须具有足够的转舵扭矩和转舵速度，而且需要有一套应急方案以确保船舶持续具有操舵能力，当某一部分发生故障时，能够迅速采取替代措施避免故障对舵机正常运行的影响。基本技术要求如下。

1.须设有备用操舵装置，现在船舶上的舵机多按以下两种方案设计：一种是套主操舵装置和一套辅操舵装置，另一种为主操舵装置装设两套以上的动力没备。 无论哪一套操舵装置发生故障时，都可以使另外一套立即投入工作。

2.当船舶在最深航海吃水以及最大运营航速时，主操舵装置能够有足够的强度使舵叶自一舷的35°转到另一舷的35°，而且对转舵速度也有要求，舵叶自一舷的35°转到另一舷的30°应在28秒内完成。当船舶以最大速度后退时，不会对舵机造成随坏。内河在20 s以内；内河急流航区在12 s以内等。

3.辅操舵装置具有的强度应满足以下要求：当船舶航行速度为最大营运速度的 一半但不小于7kn，航海吃水为最深时，辅操舵装置能够使舵自任一舷的150°转到另一舷的150°，而且所需要的时间不应超过60秒。

4.在船舶试航前要校对舵角指示, 检查舵机上的实际舵角与电气指示器的指示舵角之间的偏差应不大于 1°, 而且正舵时须无偏差。试航时根据钢规要求对舵机进行效用试验包括:操舵试验, 在正车全速时驾驶台单泵操舵从0°~右30°;右35°~左30°;左35°~0°;0°~左30°;左35°~右30°;右35°~0°。

3.3拟解决的关键问题

（1）主机响应性模型构建

主机：构建二阶系统的数学模型，并通过主机和执行机构的数学模型G0和G1，以及转速检测单元的数学模型G2，以此构建不确定性模型。

将主机的实际转速和额定转速的偏差以及偏差的变化率作为模型的两个输入,而且需要考虑模型中的参数的作用及作用的相互关系，利用模糊规则整定参数，同时要规定整定参数的相应原则。

（2）舵机响应性模型构建

舵机：以船舶舵机为研究对象，使用Simulink对舵机液压系统建模，并构建船舶舵机的数学模型，再构建二阶系统的数学模型，针对舵机复杂控制情况，通过自适应PID控制器得到额定的输入、输出舵角，与实际输出舵角相结合，将额定输出舵角与实际测得舵角的差值与差值变化率输入响应模型。重点解决模型中参数的问题，利用模糊规则整定参数，同时要规定整定参数的原则。

4.拟采取的研究方法、技术路线

4.1研究方法

（1）面向强化学习的主机系统响应性模型构建

针对目前船舶主机系统，拟采取容积法建立船舶主机稳态模型，将各个结构的输入、输出相联系，同时目前常规动力船舶主机一般都采用主机定转速这一常规航行模式，通过PID控制器得到额定输入、输出数据，构建二阶系统的数学模型，对于模型里的参数则通过模糊规则整定，将主机的实际转速与额定转速的偏差及偏差的变化率输入，以此得到响应性模型参数，最终得到主机响应性模型并通过实验验证。

（2）舵机响应性模型构建

船舶舵机随动操舵系统为闭环的反馈控制系统，以斜盘式轴向柱塞变量泵作为系统的动力驱动，采用PID控制器作为控制单元。当操舵者发出舵令p，首先将舵令秒和实际舵角口进行比较，得到的偏差信号输入PID控制器调，输出的控制信号对斜盘式轴向柱塞变量泵的盘倾角进行控制，从而对油泵输出流量Q进行控制，流量Q输入到舵机转舵油缸，从而使舵柱和舵叶发生偏转，再将新的实际舵角口经反馈装置反馈到输入。

据此得到船舶舵机的数学模型，并通过构建船舶舵机二阶响应数学模型，将PID控制器中得到的额定信号与实际测得的信号偏差及偏差率输入响应性模型，再通过模糊控制方法将模型中的参数整定，最终得到船舶响应性模型并通过实验验证。

4.2技术路线

主机：针对船舶主机推进系统，通过容积法建立船舶主机稳态模型，再构建二阶系统的数学模型，并通过主机和执行机构的数学模型G0和G1，以及转速检测单元的数学模型G2。以此构建不确定性模型。在其中我们一般通过pid控制方法得到额定的输出转速，并采集实际转速。

将主机的实际转速和额定转速的偏差以及偏差的变化率作为模型的两个输入,而且需要考虑模型中的参数的作用及作用的相互关系，利用模糊规则整定参数，同时要规定整定参数的相应原则。以此求得响应性模型，并通过实验验证。

舵机：以船舶舵机为研究对象，使用Simulink对舵机液压系统建模，并构建船舶舵机的数学模型，在构建二阶系统的数学模型，针对舵机复杂控制情况，通过自适应PID控制器得到额定的输入、输出舵角，利用模糊规则整定相应参数，求得响应性模型，最后通过实验验证。

拟采取的总体技术路线图如图3所示

图 3 技术路线图

3. 研究计划与安排

（1）查阅相关文献资料，明确研究内容，了解研究所需技术方案及措施。确定方案，完成英文翻译、文献阅读报告及开题报告； （第1周—第3周）

（2）查找并阅读文献，学习归纳现行智能船舶发展状况以及强化学习在智能船舶领域应用的事例。（第4周—第5周）

（3）总结归纳国内外主、舵机建模仿真工作的发展现状及应用，详细分析其结构及工作原理；（第5周—第6周）

4. 参考文献（12篇以上）

[1]胥苗苗.“大智”轮的标志性意义[j].中国船检,2017(12):28-31 94-95.

[2]钱跃华,龚嫚,朱骏.船用低速柴油机实时仿真模型开发及应用[j].船舶工程,2017,39(06):20-23.

[3]吴笑风.标准化助力船舶工业应对智能时代挑战[j].中国船检,2017(05):86-88 106-107.