面向短视频平台的高价值内容爬取及数据分析系统设计与实现开题报告

1. 研究目的与意义

1.背景

近年来，随着互联网技术的飞速发展，大数据逐渐成为各行各业关注的热点，基于“短平快”内容的短视频网站与应用层出不穷，并逐渐发展成为了信息传播的主流方式之一。短视频平台专注于年轻人分享创意生活的视频社交软件。用户通过作品带来流量，吸引粉丝，当粉丝达到一定量级的时候，就可以变现。因流量变现这一机制可以激励着用户生产更好的作品，因此如何发现和制作优质作品成为关键。在大数据时代，如何针对各大短视频网站信息数据，进行针对性设计，实现相应的采集、处理和分析方法，从而发掘高价值内容并分析其内在趋势，为内容创作者、视频网站管理者提供更好的参考价值，已成为业界急需解决的一大现实问题。

2. 研究内容和预期目标

研究内容

本课题主要研究面向短视频平台的高价值内容爬取及数据分析系统的设计与实现。

1）通过阅读书籍、观看视频，学习目前主流的前后端开发技术

3. 研究的方法与步骤

方法：

1）阅读任务书，了解课题的研究方向；

2）研究app逆向抓取技术、网页验证码反爬理论与技术；

4. 参考文献

[1] 樊宇. 基于scrapy的分布式网络爬虫系统设计与实现[d]. 电子科技大学, 2018.

[2] 李辉. flask web开发实战[m]. 机械工业出版社, 2018.

[3] 陶辉. 深入理解nginx[m]. 机械工业出版社, 2016.

5. 计划与进度安排

1)2022.1.10 ---- 2022.3.10 查阅资料，撰写开题报告，翻译英文资料

2)2022.3.11 ---- 2022.3.19 需求分析，熟悉开发工具