|
1 前言 随着我国漫画和数字媒体产业的蓬勃发展，各种漫画产品不断出现，漫画及动漫市场持续高速发展。然而，在传统的手绘图像上色时，需要耗费画师极大的精力去完成这样的重复、单调的工作，这无疑大大延长了整个漫画或者动漫制作流程的时间周期，增加了大量不必要的劳动开销。随着计算机视觉、数字图像处理、机器学习和深度学习等技术的诞生和快速发展，加上计算机处理能力的提升以及大数据的发展，利用深度学习对大数据量样本的表征学习，从而使高精度模拟人脑的思维和判断过程成为现实。针对传统着色算法需要人工干预等弊端，本文进行了基于机器学习的手绘图像上色算法研究，具体内容如下： ⑴ 研究目前该领域国内外的研究现状，了解现存的深度学习着色算法，总结出各种算法和实现方式的优缺点。 ⑵ 提出基于条件生成对抗网络的图像着色算法。 ⑶ 采用现有公开的训练集和自己训练的个性化训练集的基础上，实现基于机器学习的手绘图像着色系统，系统由图像上传模块、图像预处理模块和图像着色模块组成。图像着色模块使用条件生成对抗网络实现。通过对手绘图像着色实验可知，该方法可以有效且快速地对手绘图像进行上色，并且实现了多情感上色，同时保持客观的视觉效果。 2 研究背景及意义 数字图像处理[1]一直是计算机视觉[2]领域热们研究的方向，主要是研究用计算机将现实可视的图像信号处理成计算机数字信号的方法和技术。而颜色，作为人获取信息的一个重要的途径，在图像处理中，占据着很高的地位。随着数字媒体技术和计算机技术的广泛使用，我国动漫产业正处于蓬勃发展的时代。漫画和市场正在一天天扩大，同时，对各大动漫或漫画公司的产出能力也提出了新的要求。如何提升创作效率，在更短的时间周期内，创作出高质量的漫画或动漫作品成为当前漫画创作行业的一个重点问题。经过调查，我发现在漫画创作中最无形消耗画师精力和时间的一个部分就是对手绘初稿的上色过程，重复、单调的上色工作耗费了创作人员大量的精力，而借助深度学习的技术，可以将上色这一流程自动化，这将能使漫画或动漫的创作人员将更多的精力放在创作环节，从而在时间和效率上给创造带来质的飞跃创作出更加优秀高质的作品。 图像着色[3]是对黑白图像或灰度图像进行色彩填充的过程，把图像从单调的灰度级色或简单的黑白呈现变换成信息和情感表达更加丰富的彩色图像。 深度学习[4]方法的提出，使图像处理领域得到了飞速的发展。通过深度机器学习的相关网络，如卷积神经网络[5]、残差神经网络[6]、对抗生成网络[7]等，可以方便、高效地对图像的特征进行提取和图像各种属性的自动处理。 3 国内外研究现状 自从计算机技术开始迅速发展和广泛使用开始，作为数字图像处理的一个研究领域，图像着色算法一直是一个研究热点，相应的，也有很多不错研究成果。但深度机器学习时代的到来，人们开始尝试将深度学习应用于图像着色领域，到目前为止，该领域研究仍然较少。 （1） 图像着色技术研究现状 一张图像中的颜色作为丰富的信息和情感表达者，有着复杂的构成。同时，对图像的着色有着很强的主观性，也就是说，每张图像上的每个像素点、每个区域对不同的人来说都能有不同的着色方法。因此，通过深度机器学习进行的图像着色算法将直接影响最终的着色效果。 图像着色（彩色化）的方法可分为两大类：基于局部颜色的图像着色方法[7]和基于颜色传递的图像着色方法[8]。第一种方法实际上是一种基于交互[9]的方法，这种基于交互的彩色化方法可以追溯到20世纪70年代初，最早用于老黑白电影的彩色化。具体过程是：将图像分割成多个区域，艺术家们需要手动为每个区域指定颜色。这种需要用户大量在目标图像上手动对图像局部标注颜色，然后再据此对整张图像进行着色的方法需要很大劳动强度，这个缺陷让这种方法失去了广泛普及的动力。这种方法还有的缺陷就是由于每个用户对图像理解不尽相同，所以往往会导致不同的着色结果；同时，这种需要人工交互的着色方法在人工标注的颜色不准确的情况下，将会使着色效果不尽人意。第二种方法是一种基于实例[9]的方法，即使用一张与待着色相似的彩色图像样本，基于实例图像，可以将颜色传递到待着色图像上去，从而使待着色图像彩色化为与样本实例有着相似的风格和颜色的彩色图像。 这两种方法相比，基于颜色传递的方法比基于局部颜色拓展的方法有着明显的优势：不需要大量的交互，自动化程度更高。 （2） 基于深度学习的图像着色研究现状 随着计算机硬件的不断更新和处理能力的不断增强，深度机器学习方法发展也越来越快。同时，深度学习在图像处理领域的应用获得了越来越多的成果。 CHENG Z等[11]采用图像描述符作为输入的神经网络图像着色方法，通过神经网络对图像的特征进行提取。但这种方法网络结构简单，导致图像的适用类型不多且着色效果较差。Larsson[12]等人利用卷积神经网络，提取灰度图像的低维特征和语义信息，同时利用超列模型预测每个像素的颜色分布。这些方法都有的缺点就是对图像的特征信心提取不充分，造成图像丢失局部信息，从而使着色质量大大降低。 2014年，Googlefellow等人[13]提出了一种通过对抗训练来评估生成模型的新框架——生成对抗网络（Generative Adversarial Networks，GANs）。GANs受博弈论[14]启发，利用双人零和博弈思想，通过生成模型和判别模型[15]，生成“以假乱真”的目标图像。该模型用于图像着色取得了不错的表现。 与常规的深度学习模型不同，GAN模型采用的是两个“独立”的神经网络，分别是生成模型和判别模型。生成器根据输入的随机噪声信号，生成图像、视频、音频、文字等信息，判别模型则根据这些生成的数据判别其与真实样本之间的“差距”。通过参数共享，生成模型又根据判别模型给出的判别参数值，改变生成网络的参数值，从而使自己生成更加接近于真实样本的数据。然后判别模型继续判定新生成数据与真实样本之间的差距，并将判定参数值再次反馈给生成模型hellip;hellip;经过不断反复的博弈，生成模型足以生成“以假乱真”的数据，从而生成模型训练成功。 生成对抗网络最大的优点就是在理论上可以完全逼近真实数据。但是，虽然能生成新的样本，却无法有效地控制新生成样本地类型。这对大规模图片集和复杂生成问题求解造成了困难。所以，cGAN（Conditional Generative Adversarial Networks），即条件对抗网络应运而生。在GAN的基础上，cGAN增加了一个条件控制信号y，这个条件实际上是希望生成的标签。 cGAN基本结构如图1所示。
图 1 cGAN基本结构 上图中，向生成器G输入一个噪声信号z和条件y，输出符合该条件的图G(z|y)。同时，向判别器D中输入一张图像x和一个条件y，输入该图像在该条件下真实的概率D(x|y)。这样，生成器G必须要生成和条件y匹配的样本，同时，判别器D不仅要判别图像是否真实，还要判别图像和条件y是否匹配。 4 小结 灰度图像上色算法的研究是当今计算机视觉领域一大研究热点，本文本文总结了传统的图像着色方法，同时研究了使用深度机器学习思想进行高效着色的方法，通过比较多种着色方法之间的差异和优缺点，最终实现了基于条件对抗生成网络的图像着色算法。为了使成果更加具有目的性和使用价值，将研究成果用于对手绘漫画图像上色中，从而减少漫画制作的劳动成本，提升漫画创作质量。 |
|
|
参考文献 [1] 李红俊,韩冀皖.数字图像处理技术及其应用[J].计算机测量与控制,2002,10(9):620-622. DOI:10.3969/j.issn.1671-4598.2002.09.022. [2] 逄淑超. 深度学习在计算机视觉领域的若干关键技术研究[D].吉林大学,2017. [3] 张政,姚楠,方利.基于积神经网络的图像着色方法研究[J].电脑知识与技术,2019,15(6):198-200. [4] 田启川,王满丽.深度学习算法研究进展[J].计算机工程与应用,2019,55(22):25-33. DOI:10.3778/j.issn.1002-8331.1908-0359. [5] 周飞燕,金林鹏,董军.卷积神经网络研究综述[J].计算机学报,2017,40(06):1229-1251. [6] He K , Zhang X , Ren S , et al. Deep Residual Learning for Image Recognition[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE Computer Society, 2016. [7] 王坤峰,苟超,段艳杰,林懿伦,郑心湖,王飞跃.生成式对抗网络GAN的研究进展与展 望[J].自动化学报,2017,43(03):321-332. [8] 滕升华. 黑白影像的彩色化研究[D].中国科学院研究生院（电子学研究所）,2006. [9] 陈小娥.基于色彩直方图匹配的颜色传递算法研究[J].武夷学院学报,2017,36(09):44- 48. [10] 王晓慧,贾珈,廖捍宇,蔡莲红.Affective Image Colorization[J].Journal of Computer Science amp;amp; Technology,2012,27(06):1119-1128. [11] Cheng Z, Yang Q, Sheng B. Deep colorization[C]//Proceedings of the IEEE International Conference on Computer Vision. 2015: 415-423. [12] Larsson G, Maire M, Shakhnarovich G. Learning representations for automatic colorization[C]//European Conference on Computer Vision. Springer International Publishing, 2016: 577-593. [13] Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]//Advances in neural information processing systems. 2014: 2672-2680. [14] 王文宾.演化博弈论研究的现状与展望[J].统计与决策,2009(03):158-161. [15] 葛生国,范宝杰,尹哲.基于生成对抗网络的研究综述[J].电脑知识与技 术,2019,15(25):197-198. |
