基于爬虫的求职招聘网站开题报告

1. 研究目的与意义、国内外研究现状（文献综述）

课题意义：网络的迅猛发展带来的是互联网信息的爆炸性增长，这使得互联网信息容量达到了一个空前的高度。

然而，人们从互联网上获取信息的能力是有限的，人们越来越需要一种有效的途径可以帮助他们全面、快速、准确的获取信息。

web搜索引擎的出现解决了这一问题，它成为人们获取网络信息的必不可少的工具。

2. 研究的基本内容和问题

研究目标：按照事先给出的主题，分析超链接和已经下载的网页内容，预测下一个待抓取的url以及当前网页的主题相关度，保证尽可能多的爬行，下载与主题相关的网页，尽可能地少下载无关网页。

研究内容：1如何描述或定义主题2如何判断一个网页是否与主题相关。

3如何提高网络爬虫的覆盖度。

3. 研究的方法与方案

研究方法、技术路线：网络爬虫应用宽度搜索技术。

对url进行分析，去重。

网络爬虫使用多线程技术，让爬虫具备更强大的抓取能力。

4. 研究创新点

创新之处1.将各种语言类的平均工资在同一柱状图上进行比较，简洁直观的表达了各个职位的发展前景，为计算机专业学生提供了很好的就业参考。

2.招聘职位分析，显示了各个职位的招聘公司个数，展示了未来就业的前景。

3.论坛，用户可以在论坛上发布自己的求职信息，为计算机专业学生提供了一个求职的渠道。

5. 研究计划与进展

研究计划：研究计划：1.2018年1月20号-2月20号学习有关java爬虫的知识，做好理论基础准备。

2.2018年2月21号-3月1号下载所需的开发工具，配置环境，并设计系统的主体功能框架。

3.2018年3月2号-3月20号实现基于主题的爬虫，爬取计算机专业招聘信息。