基于python的Web数据分析开题报告

全文总字数：2071字

1. 研究目的与意义

本论文设计内容为全国房屋信息的采集与分析，技术实现以python编程语言编写的网络爬虫实现对的采集，采集完成后对数据进行清晰，分类，并以可视化的方式来分析数据。

房地产行业是一个万花筒似行业，在其中你可以看到多种行业的身影，一个房地产行业的发展具有以点带面的效果。

房地产业的发展趋势和状况，对能够很快的反馈到经济建设上去，对经济建设有重要作用。

2. 国内外研究现状分析

目前现有的传统爬虫通过get方法获取静态页面。

而现在很多网站使用了动态加载技术，大部分内容是通过动态加载，进而显示在网页上，而现有的爬虫对于大部分的动态网页，只能通过api否来获取数据。

而绝大部分api接口有着诸多的限制。

3. 研究的基本内容与计划

随着经济日益发展，房产已经在我国成为硬通货，越来越多的人把买房作为自己的第一目标。

因而房产相关的产业也如雨后春笋般的冒出。

特别是中国的房地产市场，近十年来，发生了翻天覆地的变化。

4. 研究创新点

1 pandaspandas 是基于numpy 的一种工具，该工具是为了解决数据分析任务而创建的。

pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。

pandas提供了大量能使我们快速便捷地处理数据的函数和方法。