基于Spark的工业大数据分析系统开题报告

1. 研究目的与意义（文献综述）

1.研究的目的及意义

党的十八大以来，我国工业化和信息化深度融合逐渐成熟，智能制造的发展取得了积极成效。制造业数字化、网络化、智能化水平在不断提高。截至2019年6月，企业数字化研发设计工具普及率达到了69.3%；关键工序的数控化率达到了49.5%。同时，开展服务型制造、网络化协同、大规模个性化定制的企业比例，分别达到了25.3%、5.3%和8.1%。工业互联网的发展也迈出了坚实步伐，国内具有一定影响力的工业互联网平台已经超过了50家，重点平台平均连接的设备数量达到了59万台。可见，这几年工业信息化取得了卓越的成效。

工业大数据是指以工业数据为核心，围绕典型智能制造模式，从客户需求到产品设计、研发、工艺、制造、供应、销售、库存等整个产品生命周期的各个过程产生的数据以及相关技术和应用的总称。但是随着工业信息化，工业数据量不仅成指数级增长，而且其来源丰富。如何利用大数据分析平台对这些大规模且多源异构的数据进行存储、处理和分析，挖掘数据中隐藏的价值，为工业发展中的各种问题提供解决方案以及制定管理方案成了一个重要挑战。工业大数据可以借鉴更为成熟的传统大数据的分析流程及处理技术，实现工业的数据采集、数据存储、数据处理、可视化。

2. 研究的基本内容与方案

本文实现一个基于 Spark 的工业大数据分析的可视化平台，具有工业大数据的存储、分析与挖掘等功能，可以为企业的众多业务提供决策支持。 从功能上来讲，平台具有以下几个重要功能： (1) 对企业各项数据的采集，完成预处理。对多源异构的工业数据实现统一存储，为后续数据分析提供数据支持； (2) 对相关的工业参数进行定义，结合机器学习算法进行分析评估，针对评估结果给出提高生产效率的有效建议； (3) 支持分析结果以及数据存储的可视化分析，能够让用户对分析结果有多方面更加直观的理解。 除此之外，也应该考虑以下性能： （1）可扩展性：平台可以根据用户的需求进一步扩展，用户后续可以增加组件来完善系统。 （2）低成本：在满足能高效分析处理数据的条件下，尽可能降低成本。 平台的基本体系结构包括数据集成，数据存储，数据处理和可视化分析4个部分。

其中使用非关系型数据库Hbase存储数据，使用Spark MLlib实现线性回归算法、聚类算法对数据进行分析，最后利用Springboot框架和JavaScript、CSS、HTML5等网页前端技术完成工业大数据分析系统的后端系统和前端页面，能够在页面展示Hbase的数据，并使用Echarts实现可视化数据分析结果。其总体技术架构如图2.1所示。

3. 研究计划与安排

第1－3周：查阅相关文献资料，明确研究内容，了解研究所需理论基础。

确定方案，完成开题报告。

第4－5周：熟悉掌握基本理论，完成英文资料的翻译，熟悉开发环境。

4. 参考文献（12篇以上）

[1]j. chen et al, "a parallel randomforest algorithm for big data in a spark cloud computing environment,"ieee transactions on parallel and distributed systems, vol. 28, (4), pp.919-933, 2017.

[2]j. gonzalez-lopez, s. ventura and a.cano, "distributed nearest neighbor classification for large-scalemulti-label data on spark," future generation computer systems, vol. 87,pp. 66-82, 2018.

[3]o. a. sarumi, c. k. leung and a. o.adetunmbi, "spark-based data analytics of sequence motifs in large omicsdata," procedia computer science, vol. 126, pp. 596-605, 2018.