基于云平台的数据异常检测开题报告

全文总字数：1101字

1. 研究目的与意义

云计算快速发展，为我们提供了分布式计算的能力，使数据的处理更加高效、便捷。

同时，近期机器学习的火爆，使我们对数据处理提出了更高的平台。

其中，异常检测在数据预处理中起到关键性的作用。

2. 国内外研究现状分析

国外：数据的指数级增长使谷歌、雅虎、亚马逊和微软为解决传统工具无力处理大数据的问题，不断寻求方法。

谷歌率先推出mapreduce，doug cutting看到后领导开发了hadoop，是本次使用的开发平台。

它是许多公司可以搭建自己的云计算平台。

3. 研究的基本内容与计划

内容：基于hadoop实现单机版传统异常检测算法、随机森林算法以及基于云平台的随机森林算法，对它们的性能进行比较总结各种的优缺点。

计划：1月16日~2月20日：虚拟机vmware安装并安装centos、安装javasdk、hadoop及环境测试，案例wordcount试跑，学习mapreduce开发流程。

2月26日~3月20日：单机版异常检测常用算法knn、随机森林算法实现3月21日~4月15日：基于云平台的随机森林算法实现、性能比较4月15日开始，撰写论文，准备答辩。

4. 研究创新点

1. 利用Hadoop将传统异常算法的并行化2. 针对周志华教授提出的异常检测算法进行并行化处理尝试3. 对这些算法的性能进行比较，分析优缺点