卷积神经网络的二值化及FPGA实现开题报告

 2021-12-25 15:36:38

全文总字数:4614字

1. 研究目的与意义(文献综述)

最近一些年,深度学习技术应用于越来越多的领域如图片分类、自然语音处理、智能推荐、智能语音等领域并在这些领域取得了较大的突破。而深度学习技术最核心的部分是神经网络(neural network, nn)技术,其包括深度神经网络(deep neuralnetwork, dnn)、卷积神经网络(convolutional neural network, cnn)、循环神经网络(recurrent neural network, rnn)。神经网络最初被设计出来的目的是通过模拟人类大脑的结构达到实现类似于人类大脑的认知功能。人的大脑具有生物神经网络深层架构,它在认识事物的过程中是逐层且抽象的,这些生物神经网络能够将单个简单的对象的各种特征组合起来,形成对各个事物区别的特征从而能辨别出各种事物。人工神经网络(artificial neural network, ann)正是通过与人脑这种类似的方式通过提取简单对象的特征,让后将这些简单的特征组合成完整的物体区别特征,从而达到区别复杂事物对象的功能。

卷积神经网络是近年来深度学习研究中的重点。卷积神经网络通过卷积层(convolutional layer)、池化层(pooling layer)的叠加来提取原始数据的复杂非线性特征。而且卷积神经网络具有“稀疏连接,共享权值”的优点,这使得其在运算过程中参数的数量以及运算量会大幅度减少,提高神经网络的工作效率,满足了算法对大数据的响应需求。在计算机视觉领域,卷积神经网络被广泛应用于图像识别、图像分割、目标跟踪等领域。因此对卷积神经网络基础模型的研究成为了这些领域中不可或缺的一部分。

2012年的alexnet一鸣惊人,由此开启了卷积神经网络应用的新时代。随后又出现了network in network,vgg,inception,resnet,xception,resnext,senet等更强大的卷积神经网络模型。但是随着处理数据的规模越来越大,cnn中的网络结构也越来越复杂,而且现阶段的cnn过度依赖于浮点计算,这就导致了其很难应用到资源受限的设备如移动设备、fpga等,传统的cpu不能满足现在庞大计算量的需求,因此在硬件实现方面通常使用图形处理单元(graphics processing unit, gpu)以集群的工作形式来实现cnn的应用,gpu作为硬件加速平台可以并行处理大规模复杂的运算操作,以此为架构的处理单元可以处理大规模数据的cnn,但gpu的功耗以及处理延时并不满足当前嵌入式平台的低功耗以及实时性的要求。为了解决这个问题,出现了神经网络的量化技术如二值化神经网络。

剩余内容已隐藏,您需要先支付后才能查看该篇文章全部内容!

2. 研究的基本内容与方案

研究的基本内容及目标:本研究以FPGA为加速深度卷积网络的基础实验平台。在此之上,对近年来的卷积神经网络的发展情况和对二值化卷积神经网络的探索做出总结。本研究旨在提出一种新的二值化卷积神经网络的算法来加强二值化神经网络的表示能力和对复杂特征的提取能力,对神经网络模型计算的复杂度和参数的数量进行分析,设计一种新的二值化卷积神经网络模型以解决二值化卷积神经网络的性能退化问题但不会显著增加卷积神经网络的计算复杂度。

拟采用的技术方案及措施:本研究拟采用DenseNet中的密集连接的方法来优化二值化卷积神经网络并且采用平均池化的方法来构建卷积神经网络的池化层。在二值化卷积神经网络的算法方面,我采用一种基于XNOR-Net的新算法,一方面它可以使反向传播的梯度计算更加精确,另一方面它结合了DenseNet的密集连接的思想和Network In Network全局平均池化的思想从而有效提高了二值化神经网络的表征能力。在卷积神经网络的并行架构的设计方面,具体分析了深度卷积神经网络各层内部的并行关系,包括卷积层、池化层、激活函数层等,完成卷积神经网络整体并行架构的设计以及神经网络层内部的并行设计。

3. 研究计划与安排

2020.02.23-2020.03.15:确定论文方向,写出开题报告

2020.03.17-2020.03.25:搜集相关资料

2020.03.27-2020.04.05:完成论文第一章

剩余内容已隐藏,您需要先支付后才能查看该篇文章全部内容!

4. 参考文献(12篇以上)

[1]lecun y, bengio y, hinton g. deeplearning.[j].nature, 2015, 521(7553):436.

[2]周俊宇,赵艳明. 卷积神经网络在图像分类和目标检测应用综述[j].计算机工程与应用,2017(13).

[3]杨海钢,孙嘉斌,王慰.fpga器件设计技术发展综述[j].电子信息学报,2010,32(3):714-727.

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

发小红书推广免费获取该资料资格。点击链接进入获取推广文案即可: Ai一键组稿 | 降AI率 | 降重复率 | 论文一键排版