1. 研究目的与意义（文献综述）

1.1目的、意义

目前，由于互联网的产业发展,大数据（bigdata）也吸引了越来越多的关注。制造领域、商业领域、科研领域以及社会生活中所产生的数据量都在以惊人的速度增长。大数据问题已成为国际上的研究热点，伴随着德国工业4.0概念的提出。制造业领域将会以想像不到的速度创新，呈现出新的技术、新的产品、新的服务和新的业态。推动制造业向基于大数据分析与应用基础上的智能化转型。制造业大数据的应用，将成为未来制造业大创新的关键要素。

随着企业信息化的不断建设，企业获取、处理和保存产品数据信息的途径向着“离线→在线→云” 的路线不断发展。企业获取信息的渠道增多，包括传感器以及智能设备、社交网络等现代通信工具的使用，导致数据增长速度快和数据类型复杂,企业的产品数据信息逐渐具有海量（volume）、高速（velocity）、多样（variety）、价值（value）的4v特性，这也是大数据的特征。企业产品信息中包含大量的半结构化和非结构化数据。，数据的存储量和计算量巨大，数据价值呈现稀疏性的特点。在现今的企业产品信息管理平台中，需要存储企业所以的产品信息数据，这些海量的产品信息数据可能高达几十亿条，存储大小可能高达几百tb,在业务既要支持数据挖掘，对海量异构数据时对于内在价值的探索。也要支持企业、用户对企业产品信息的查询。

以mysql,orade，sybase，postgersql为代表的传统关系数据库在过去的20多年里到了广泛应用，传统数据库通常采用小机加盘阵高性能一体机建设成，成本非常高，很大程度上限制了其扩展能力，即遇到性能瓶颈时，存储能力与计算能力的扩展是个很大的难题。传统数据仓库和关系型数据库擅长处理结构化数据,限制了可处理数据的种类，同时这种缺点还影响到传统数据库在面对海量异构数据时的表现，这也就意味着不少有价值的数据源是传统数据库无法涉及的。传统关系型数据库的存储容量和处理能力已经不能满足企业超大规模数据的处理需求。

2. 研究的基本内容与方案

2.1本设计的基本内容、目标

本设计以hadoop为开发平台，将电气企业产品信息源数据存储到产品信息管理系统，产品信息源数据包括：企业数据库数据、相关的文档数据、二维三维模型等。其中通过apache的sqoop技术，把企业已建好的关系型数据库的数据导入到hadoop与其相关的系统（hdfs和hive）中；同时也可以把数据从hadoop系统抽取并导出到关系型数据库里。文档数据，二维三维模型等中的结构化数据存储到hive仓库中，非结构化数据和半结构化数据存储到hbase中。整个平台的核心功能是承担数据存储的任务，实现对产品信息数据的查询，并为数据挖掘分析提供数据基础。

管理系统后端采用hive hbase的设计，大部分数据特别是适合非结构化存储的产品信息数据都是使用hadoop生态体系下hbase数据库存储的的。hive数据仓库作为辅助，存储不适合使用hbase场景的关系型数据。这种设计使得界面响应速度更快。利用java语言编写的web service接口将管理系统后端与管理系统前端查询界面连接。管理系统前端查询界面采用visual studio开发工具进行设计。

2.2拟采用的技术方案及措施

根据以上所述，本产品信息管理系统需要满足以下功能要求:

3. 研究计划与安排

4. 参考文献（12篇以上）

[1]wigan, m.r., clarke, r. big data’s big unintended consequences.computer. 2013, 46(6):46-53.

[2]djemaiel y, essaddi n, boudriga n. optimizing big datamanagement using conceptual graphs: a mark-based approach[c]. businessinformation systems. springer international publishing, 2014: 1-12.

[3]schmidt r, mhring m, maier s, et al. big data as strategicenabler-insights from central european enterprises[c]. business informationsystems. springer international publishing, 2014: 50-60.