基于风格迁移的在线美图系统的设计与实现文献综述

文献综述

一、开发背景随着深度学习技术的发展，人们不再仅仅满足于AI在具体任务上的表现，也越来越多的思考AI在抽象和艺术上的发展。

对于美术风格这个领域，AI到底是将一幅幅图像视为割裂的局部特征，还是能够归纳出所谓美术风格的内核？AI的这种认知是否又与人们的常识相悖呢？而随着各类深度学习技术的应用，市场上也涌现出了一些诸如snapchat、抖音之类的或以特效为主，或以特效为辅的移动应用软件，为用户提供了各类风格迥异但都充满风趣的美图或化妆服务，博得众多爱好者的追捧。

而对于深度学习在风格迁移领域本身，已经有了各式各样蓬勃的发展，从GAN生成网络，到Transformer模型，风格迁移本身的模型越来越多样。

但到目前为止，市面上还没有一个融合了风格迁移和特效美图的云端软件。

基于这种思考，本课题拟通过搭建前后端分离的网站，提供图像风格转换、实时视频特效等在线服务，为用户提供方便且多选择的基于深度学习技术或现代网页特性渲染的美图风格程序。

二、开发工具1. 在美图特效方面，针对实时视频特效，本系统准备采用mediapipe以辅助在网页端完成人脸识别与姿态识别等。

Mediapipe是Google的一个开源项目，致力于为直播和流媒体提供跨平台、可定制的 ML 解决方案，内含了多种深度学习模型且易于使用。

而为了更好的兼容mediapipe与基于其上的视频特效，本系统需要编写一个轻量级的typescript框架用于处理canvas。

2. 在风格迁移方面，为了让用户更方便的体验和使用不同的模型风格，将会使用python封装多种模型，向后端提供接口，方便用户一键获取不同风格转化结果。