基于深度学习的图像风格迁移算法研究与实现开题报告

 2023-02-24 10:02

1. 研究目的与意义

随着计算机技术的高速发展和大数据时代的来临,利用计算机处理大规模数据以发现其中隐藏的信息开始成为越来越多专家学者研究问题的一个重要手段。深度学习作为人工智能领域的重要方法,对解释文本、语言和图像等数据具有重大意义,已经逐渐应用到日常生活的方方面面。在图像识别领域的比赛中,以alexnet[1]、googlenet[2]为代表的深度学习算法相比于传统算法在性能上有了很大的提升。曾经战胜了世界围棋冠军柯洁让世界为之惊叹的谷歌机器人alphago[3],其原理是深度学习。还有如今已得到广泛应用的刷脸支付[4]功能,也有深度学习的功劳。除此之外,深度学习的另一个重要领域就是图像风格迁移。

图像风格迁移指的是将图片甲(风格图片)的风格迁移到图片乙(内容图片),以形成新的图片丙,丙既保留了图片乙的内容又同时具有图片甲的风格。例如各种拍照软件和视频软件中的滤镜,就是将滤镜图片中的风格迁移到原始图片上,以达到丰富的艺术效果。图像风格迁移的概念一经提出就受到广泛关注。其中移动端应用prisma[5]和网页端应用deep dream generator[6]更是让图像风格迁移在工业生产中成为现实。prisma是苹果软件商店2016年年度销售第一的应用,一经上线就风靡全球,为用户提供上百种图像风格的迁移服务,深受年轻用户的喜爱。deep dream generator则更加灵活,可支持用户自己上传内容图片和风格图片,实现了任意风格的迁移。图像风格迁移所能做的当然远不止这些。在动漫领域,图像风格迁移可以快速创作出基于现实世界的漫画场景,从而可以让创作者更集中于故事或者人物,可以极大提高工作效率。在电影领域,图像风格迁移同样可以让视频的后期渲染更加高效。

基于深度学习的图像风格迁移相较其他图像处理技术具有较高的效率和较低的时间开销,可抛开人工提取图像特征的局限性,在现实生活中得到有效的利用。由此,基于深度学习的图像风格迁移方法具有重要的研究价值。

剩余内容已隐藏,您需要先支付后才能查看该篇文章全部内容!

2. 研究内容和预期目标

问题一:传统风格迁移算法通常都是使用预训练好的原本用于目标检测或者是分类的卷积神经网络模型进行风格迁移,而对于风格迁移网络的研究并不多。

对应的研究内容:本文希望通过对目前常用的几种在imagenet[7]数据集上预训练好的卷积神经网络模型和生成式对抗网络模型进行不同程度的改造,进行对比实验,观察迁移效果并分析原因,由此构建一种更加适合于图像风格迁移的网络模型。

问题二:目前大多数风格迁移算法训练出的模型虽然性能强大,但由于参数数量庞大、存储和计算代价高,使得其消耗计算机资源巨大,训练时间也相对较长。

剩余内容已隐藏,您需要先支付后才能查看该篇文章全部内容!

3. 国内外研究现状

(一)早期图像风格迁移研究

将图像风格化这类问题,早期被归为计算机视觉的一个分支,称为非真实感渲染[8]。方法主要有基于笔触模拟的方法和基于纹理合成的方法。

笔触模拟是直接对画家的创作进行物理上的模拟,需要研究者对画家的创作过程和创作风格有一定了解。hertzmann等人[9]模拟画家先用大画笔构图再用小画笔补充细节的油画创作方式,在2d画布上进行多层绘制,实现了自然景象风格化为油画的效果,而且之后又进行了一次模拟方式的优化[10]。hays等人[11]提出一个使用不同的笔刷来模拟绘画过程不同阶段的模型,进一步完善了hertzmann等人的方法。钱小燕等人[12]提出了一种独特的绘画模拟方式,利用基于图像的自适应lic算法模拟流体艺术风格的创作,相比于之前的研究,风格化后的图像呈现出活泼的流体波动感。

剩余内容已隐藏,您需要先支付后才能查看该篇文章全部内容!

4. 计划与进度安排

针对问题一的研究计划:广泛查阅文献,了解目前用于图像风格迁移的主要网络模型。学习这些模型的原理结构,包括其中的参数、损失函数、训练原理等等,分析模型之间的联系和区别,并比较分析同一组内容图像和风格图像通过不同模型训练后的风格化图像,调整模型参数或改变结构,力图获得性能更加优秀的图像风格迁移模型。

针对问题二的研究计划:对得出的性能优秀的图像风格迁移模型进行更深层次的剖析,通过文献资料了解模型轻量化方法,对本文模型进行实验,寻找保证生成图像质量的同时最大程度压缩模型的方法。

5. 参考文献

[1] krizhevsky a, sutskever i,hinton g e. imagenet classification with deep convolutional neural networks[j].advances in neural information processing systems, 2012,25:1097-1105.

[2] szegedy c, liu w, jia y, et al.going deeper with convolutions[c]//proceedings of the ieee conference oncomputer vision and pattern recognition. 2015: 1-9.

[3] chen j x. the evolution ofcomputing: alphago[j]. computing in science and engineering, 2016,18(4):4-7.

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

课题毕业论文、开题报告、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。