基于JavaWebMagic框架的电商比价平台开题报告

 2021-11-05 07:11

1. 研究目的与意义(文献综述包含参考文献)

文 献 综 述 1.前言 当下是一个大数据的时代,我们每个人都参与其中。

在大数据时代,将数据有效的检索并组织呈现出来有着很重要的意义。

在实际生活中我们经常会使用像百度、google这些搜索引擎检索各种信息,但是这些通用性搜索引擎也存在着一定的局限性。

剩余内容已隐藏,您需要先支付后才能查看该篇文章全部内容!

2. 研究的基本内容、问题解决措施及方案

1.拟研究或解决的问题使网络爬虫高效灵活, 在主题网站中尽量全面的爬取信息,并且能够自动构造url,递归调用自身,开启多线程快速的爬取,准确提取有效信息,存储到数据库。

2. 拟采用的研究手段(途径)参考网上开源的网络爬虫和各种网络爬虫相关的书籍、视屏等信息,学习了解网络爬虫运行机制,基本原理,根据所爬取的目标网站设计自己的爬虫,学习java语言,分布式环境的构建,urllib2,beautifulsoup的简单操作,程序编写、调试等。

3. 具体研究手段如下: 1)学习并掌握网络爬虫开发相关的语言和工具,了解分布式爬虫的原来并选择合理的实现方法。

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

课题毕业论文、开题报告、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。