1. 研究目的与意义、国内外研究现状(文献综述)
意义:在移动设备上实现机器学习,可以有两种实现方法。一种是在设备上收集数据,传递给云端,服务器执行机器学习任务,最后把结果回传给设备。另一种方法是在终端设备上运行所有功能,包含机器学习模型。采用tensorflow lite开发的应用的优点是反应速度非常快,可以在终端上进行处理,并且可以离线使用。采用tensorflow lite开发的应用将会有的特性和主要研究突破点如下:易用性,支持更多op,根据用户反馈优先处理更多op,op 版本控制和签名,op 内核将获得版本号,op 内核将可以通过签名识别,新转换器,实现新的tensorflow lite 转换器,该转换器将能更好地处理图形转换(即控制流、条件语句等)并取代 toco,继续改进tf select op,支持更多使用tf select(例如哈希表、字符串等)的转换类型,在通过op 剥离使用 tf select op 时支持更小的二进制文件大小,支持长短期记忆(lstm) / 循环神经网络 (rnn),增加对lstm 和 rnn 的完整转换支持,图形可视化工具,提供增强版图形可视化工具,预处理和后处理支持,针对推理的预处理和后处理提供更多支持,控制流和设备端训练,增加对控制流相关op 的支持,增加对设备端训练的支持,新api,将新的c api 作为语言绑定和大多数客户端的核心,ios 版 objective-c api,ios 版 swift api,更新后的android 版 java api,c# unity 语言绑定,添加更多模型,向网站的支持部分添加更多模型,性能,更多硬件委派,增加对更多硬件委派的支持,支持nn api,持续支持并改进对nn api 的支持,框架可扩展性,通过自定义优化版本支持简便的cpu 内核重写,gpu 委派,继续扩展对opengl 和 metal op 的总支持 op,开源,提升tflite cpu 的性能,优化浮动和量化模型,优化,模型优化工具组,训练后量化 混合内核,训练后量化 定点内核,训练时量化,为更多技术提供更多支持,rnn 支持,稀疏性/ 精简,支持较低位宽,可移植性,微控制器支持,增加对一系列8 位、16 位和 32 位微控制器 (mcu) 架构语音和图像分类用例的支持。
2. 研究的基本内容和问题
研究的目标和内容:
tensorflow lite是tensorflow在移动设备上运行机器学习的跨平台解决方案,具有低延迟、运行时库 (runtime library) 极小等特性,此外还有一系列的工具去转换、调试和优化模型。
采用tensorflow lite开发的应用优点之一是反应速度非常快,比如开发照片处理app,不需要将照片传输到云端,可以直接在终端上处理。优点之二是可以离线使用,这在网络条件比较差的地区尤为重要。
3. 研究的方法与方案
研究方法:进行整合模拟运算
技术路线:tensorflow lite 的移植
4. 研究创新点
运用tensorflow lite 建立自己的模型。
5. 研究计划与进展
研究计划:
构建与训练模型,使用tensorflow构建模型,训练,取得saved model。转换格式,使用tensorflow lite转换器转换为tensorflow lite可用的模型,部署并优化。
