票据OCR识别：印章文字重叠的处理方法研究开题报告

全文总字数：7216字

1. 研究目的与意义（文献综述）

1.1研究背景

光学字符识别（optical character recognition, ocr）是指对文本资料的图像文件进行分析识别处理，获取文字及版面信息的过程。即将图片影像资料中的文字以文本形式返回。ocr的定义是于1929年由德国科学家tausheck最先提出来的，后来美国科学家handel也提出了利用技术对文字进行识别的想法。而最早对印刷体汉字识别进行研究的是ibm公司的casey和nagy^[1]，1966年他们发表了第一篇关于汉字识别的文章，采用了模板匹配法识别了1000个印刷体汉字。

国内ocr技术较国外起步较晚，在20世纪70年代才开始对数字、英文字母及符号ocr技术的研究，20世纪70年代末才开始对汉字识别的研究。1986年，国家推行863计划组织清华大学、北京信息工程学院、沈阳自动化所三家单位联合进行中文ocr软件的开发工作^[2]。到90年代中后期，清华大学推出的系统可以完成多文种(汉、英、日)印刷文本、联机手写汉字、脱机手写汉字和手写数字的识别输入。

目前印刷体ocr的识别技术已经达到较高水平，在发展过程中，我国克服了起步晚、汉字字符集异常庞大等困难。随着ocr技术发展，诞生出了很多应用系统，如车牌识别系统、智能识别系统、卡证识别系统、票据识别系统。其中票据识别系统的诞生缘于现代社会中票据的频繁使用。因票据ocr识别涉及到金融方面，对其准确率要求十分高。票据ocr中需要识别的要素包括：大小写金额、日期、收款人、付款行、数字账号、印章。其中，印刷体数字与英文因本身字符集较少识别率可达到很高。汉字由于字符集较多，识别具有一定难度^[3]。印章的识别，是票据ocr内的一个难点，带来以下困难。(1)加盖印章的时候，由于人为的用力不均匀、使用印泥量不同会带来印章颜色不均匀，甚至印章有所缺损。(2)加盖印章的背景可能会存在不同纹理，给识别带来了许多的噪声^[4]。(3)加盖印章的随意性，这带来印章位置的随机性，甚至导致印章与其他信息重叠，为识别带来了很大的困难。本文针对票据ocr识别中的印章与文字重叠提出两种解决方案，一种为利用对抗神经网络实现对重叠图像的图像修复工作，另一种为改进文字识别网络，使其具有区分前后背景的能力，从而识别出重叠文本信息。

2. 研究的基本内容与方案

2.1 研究内容及研究目标

本文的研究内容主要是用pix2pix对抗神经网络网络与改进后的crnn网络模型从两个角度解决票据ocr中印章与其他文字信息重叠时的识别问题。分析票据中印章与文字重叠时的特征，选取合适的深度学习算法，设计完整的识别流程，结合具体的深度学习模型，利用python 与tensorflow编写具体的程序，测试相关算法对票据中印章与文字重叠的识别情况，并将其与传统图像印章提取算法进行对比。

2.2 拟采用的技术方案及措施

本文使用的硬件环境gpu为nvidia titan x。使用的算法编程框架是tensorflow, tensorflow是广泛使用的实现机器学习以及其它涉及大量数学运算的算法库之一。采用两种深度学习算法从两个角度解决印章与文字重叠的问题。第一个为pix2pix cgan 对抗神经网络，通过制作重叠图片与未重叠图片对，送入到生成器与判别器中去学习，最后保留生成器，使生成器具有对重叠图片去除重叠的能力。第二个为改进crnn端到端不定长文字识别网络，crnn为常用的场景文本识别算法，其主要特点为：可以进行端到端的训练、不需要对样本数据进行字符分割，可识别任意长度的文本序列、模型速度快、性能好，并且模型很小。本文尝试修改crnn后面接两个全连接层，前面网络层进行权重共享，让crnn具有区分前景、背景特征的能力，通过改进后的crnn模型，识别出重叠图片的前后背景文字。同时利用传统方法根据rgb、hsv颜色特征，对同样的重叠数据集进行抽取，以此验证上述两种算法的效果。

3. 研究计划与安排

（1） 2020/1/13—2020/2/28：阅读相关文献，确定选题，完成开题报告；

（2） 2020/3/1—2020/3/15：继续阅读文献，翻译英文文献，学习深度学习的理论知识，确定使用的数据集，并对数据进行清洗；

（3） 2020/3/16—2020/4/30： 学习tensorflow编程，学习pix2pix2算法；实现pix2pix算法，结合数据集，测试pix2pix算法效果。

4. 参考文献（12篇以上）

[1]张婷婷,马明栋,王得玉.ocr文字识别技术的研究[j/ol].计算机技术与发展,2020(03):1-8[2020-02-25].

[2] 王学梅. (2019). ocr 文字识别系统的应用. 现代信息科技, (18), 27.

[3] 张殿东, 包常新, 温尚卓. (2005). ocr 技术在银行票据识别系统中的应用. 山东科学, 51.