基于Python的网络爬虫及展示系统开题报告

1. 研究目的与意义（文献综述包含参考文献）

一、系统开发的背景及意义1.1概述 在现代生活中，虽然电子阅读方式早已普及开来，但并非所有书籍都已电子化，纸质书籍仍有着其自身的优势，有大量场合要用到纸质书籍，购买纸质书籍是生活中的一项重要需求，电子商务让购买纸质书籍更为便捷。

其中当当网作为现有的较大的图书资讯集成商和供应商，是许多人进行书籍购买的优先选择，对于单个用户而言，书籍信息过于庞杂，此时一个能实时采集图书信息并通过信息比对给出购买最优解的图书信息爬虫系统就显得十分必要。

1.2 系统开发意义现代电子商务模式的普及带来了便捷化的购买商品的方式，同时也带来了海量的信息冲击，其中不乏有许多的无效信息，包括商家的各类广告信息，使用爬虫获取信息免除了用户打开网页浏览的过程，可以使信息更为抽象化，从而能通过数据比对来获得购买商品的选择建议。

2. 研究的基本内容、问题解决措施及方案

本课题要研究或解决的问题：开发一个具有爬取当当网图书信息功能并分析整合展示 的网站系统。

主要问题分为三个：1.爬取目标网页信息2.对爬取的目标网页信息进行数据分析3.将分析完成的数据通过Web进行适当的渲染与整合展示给用户拟采用的研究手段：1.爬取目标网页信息（1）对要爬取的页面进行网页信息抓包（2）分析C/S过程中信息项传递的方式（3）构造具有明确指向性的request，等待服务器回应，若一段时间内没有response可以再次发送request（4）解析服务器发回的response2.进行数据分析Python语言本身很适合用作数据分析的语言，在本项目中主要使用以下若干相关库进行数据分析：（1）Pandas（2）Numpy（3）Matplotlib3.Web页面编写与渲染 本系统的Web页面计划采用的是较为主流的Struts2及hibernate框架，视具体开发情况而定，为了更好的效果可能使用如Echart等其他相关技术