1. 研究目的与意义
背景：随着多传感器技术的快速发展，人们可以在同时获得同一区域的不同类型传感器获取的图像信息。在使用单一可见光摄像头获取区域图像信息的时候，当环境光线处于弱光状态时，可见光摄像头往往会出现噪点增多，对颜色的分辨能力下降，甚至会因灵敏度下降而出现无法得到场景图像。而红外摄像头的加入往往会解决恶劣环境下带来的一系列尴尬问题。
目的：设计多源视频融合系统的主要目的是实现同一场景下，将多种类型的摄像头采集到的视频信息融合，以解决上述提出的在不良好的环境下可见光摄像头缺乏能够获取场景能力的问题。
意义：该系统通过多源视频配准融合，将可见光与红外线光获取的同一场景的视频进行算法配准与融合，并输出为一路视频。同时程序移植到了嵌入式linux平台运行，在很好地解决了多多种图像信息采集的同时，提供了较好的便携程度和解决了功耗问题。
2. 研究内容和预期目标
研究内容:本文主要研究的内容是linux环境下的嵌入式平台搭建和c/c 开发，基于计算机开源视觉库opencv中的一系列视频处理算法来完成多源视频融合系统的搭建，在整个设计过程中需要完成以下工作：硬件系统能够同时接收同一环境下的两个不同类型摄像头传入的图像信息，可以搭建opencv运行环境，并具备运行多源视频融合程序的能力。由于两个摄像头位置的偏差，需要融合程序具备配准的功能，即进行特征检测，特征匹配，矩阵变换算法之后对两个摄像头读入场景的配准。在图像配准之后运行融合算法进行图像融合，并实时输出。
预期目标：
1、选择合适的嵌入式linux开发板，使其具备同时接入两路视频的能力，并具备运行融合程序的能力。2、软件程序具备读入两路视频输入、视频配准，视频融合等功能。3、处理之后的视频流能够实时输出。
3. 研究的方法与步骤
开展本课题在linux环境下使用c/c 进行开发，并使用opencv库编写程序处理视频流，来设计和实现多源视频融合系统。
1、将opencv交叉编译至linux开发板上。
2、编写代码接收两个摄像头的视频流的输入。
4. 参考文献
[1] 刘增峰,杨俊. SIFT、ORB及KAZE算法的分析和比较[J]. 江西科学, 2017.6[2] 葛林. 基于ARM9和OpenCV的视频监控系统的研究[D]. 湖北工业大学, 2013.[3] 张平. OpenCV算法精解：基于Python与C [M]. 电子工业出版社, 2017.10[4] 梁庚,陈明,马小陆. 高质量嵌入式Linux C编程[M]. 电子工业出版社, 2015.1[5] Wikipedia. Homography[EB-OL]. https://en.wikipedia.org/wiki/Homography[6] 蔡晓望. 可见光与红外视频的融合算法研究[D]. 电子科技大学, 2015.[7] 郭晖,陈光. 基于OpenCV的视频图像处理应用研究[J]. 微型机与应用, 2010[8] 梁艳. 基于OpenCV的ARM嵌入式网络视频监控系统[J]. 微型机与应用, 2013.[9] Simon Monk. 树莓派开发实战[M]. 人民邮电出版社, 2017.5[10] 刘京城,刘少华. 基于OpenCV的视频监控追踪系统的设计与实现简[J]. 城市勘测, 2018.1
5. 计划与进度安排
(1) 2022.12.20 — 2022.2.13 查找阅读文献资料；(2) 2022.2.14 — 2022.3.15 进行需求分析，撰写开题报告；(3) 2022.3.25— 2022.3.25 完成概要设计；(4) 2022.3.25— 2022.4.26 代码详细设计；(5) 2022.4.27— 2022.5.10 系统编写和调试；(6) 2022.5.11— 2022.5.24 程序测试；(7) 2022.5.25.— 2022.6.10 整理完善文档，准备答辩资料。
