基于大数据分析的网盘系统设计与实现任务书

1. 毕业设计（论文）的内容和要求

1、搭建大数据平台的能力。

2、 利用大数据平台（如hadoop,spark）对大数据集的分析处理。

3、 掌握java web 核心技术（基于spring boot的快速开发）。

2. 实验内容和要求

内容：

1、 搭建大数据平台（hadoop集群，spark集群）。

3. 参考文献

[1] shanahan j g,dai l. large scale distributed data science using apache spark[c]//proceedingsof the 21th acm sigkdd international conference on knowledge discovery and datamining. acm, 2015: 2323-2324.

[2] dean j, ghemawats. mapreduce: simplified data processing on large clusters[m]. acm, 2008.

[3] 郝树魁. hadoop hdfs和mapreduce架构浅析[j]. 邮电设计技术, 2012(7):37-42.

4. 毕业设计（论文）计划

1、资料搜集：2022年12月21日--2022年02月25日；

2、项目设计与编码：2022年02月26日--2022年04月25日；

网盘应用：