1. 研究目的与意义、国内外研究现状(文献综述)
一、本课题的意义随着计算机技术的发展,高校数字化建设的步伐越来越快,采用的系统越来越多,为了保护系统的安全,方便调查系统故障,监控系统运行状况,查看日志己经成为一个重要的手段。
管理员可以查看在某段时间内所发生的事件,也可以通过对各个日志文件进行分析获取知识。
由于日志具有数据量大,不易读懂的特点,如果仅凭借管理员查看日志记录的手段,其中所蕴含的有用信息也难以发现。
2. 研究的基本内容和问题
一、研究的目标、内容研究目标: 1、了解hadoop日志分析管理系统的项目应用背景,国内外现状以及课题研究的实际意义。
2、掌握mapreduce的工作情况,以及hadoop生成日志的基本格式。
3、设计hadoop日志分析管理系统,时间对项目日志的监控、分析、管理功能。
3. 研究的方法与方案
一、研究方法我们采用的是在hadoop平台搭建的环境下利用java语言来进行开发,java的面向对象的思想就决定了他的代码是可以重用的从而提高了开发效率,java继承了c 的优点,也抛弃c 的一些弊端。
java可以说是集合了大多数语言的优点产生的精华。
还有高性能、分布性、强大性、解释性、可移植性等优点。
4. 研究创新点
特色和创新之处在于,我们通过hdfs和mapreduce这两大hadoop的核心技术来实现对海量数据的存储和计算,能方便快捷的来实现。
jdfs容错率高,对硬件的要求低。
而mapreduce 则是将分布式的业务逻辑从这些复杂中的细节中抽象出来,这些细节问题全部交给系统处理,程序员在进行并行开发应用时,可以只考虑数据的业务逻辑就行了。
5. 研究计划与进展
2014年12月-2014年1月 阅读相关资料,学习java开发方法。
2014年1月-2014年2月 确定开发系统的环境,安装Hadoop平台环境,熟悉Hadoop平台 2014年2月-2014年3月 确定系统的需求分析部分,根据系统的需求分析确定系统的功能模块 2014年3月-2014年4月 建立系统的界面框架 完成系统的所有模块开发 2014年4月-2014年4月 完善、测试、修改 2014年4月-2014年5月 撰写论文
