在这全民买房的时代，有一项技能我觉得是程序员应该要配备的，无论近期要买或是不买，还是要适当的关注房价走向的。我也喜欢浏览房价，但是在网页里看得眼花缭乱的，程序员就该用程序员的方式看嘛！
于是我用python+selenium来抓取链家房数据，selenium自动化优点是完全可以模拟人工操作网页，而且相对其他爬虫不用写请求头，例如直接request的。
欢迎大家加入小编创建的Python行业交流群，有大牛答疑，有资源共享，有企业招人！是一个非常不错的交流基地！群号：683380553
前期准备
1、安裝selenium
命令行：pip install selenium 敲回车
2、下载chromedriver对应的版本：
http://chromedriver.storage.googleapis.com/index.html
直接放在Python的Scripts目录下就可以不用配置变量了，而且也不用声明路径
（后面会说）
3、安裝pyquery：
命令行：pip install pyquery
4、安裝pymysql
命令行：pip install pymysql
网页分析
我们不用声明请求头的参数了，只要我们拿到URL，指哪爬哪！
此次抓取的数据如下：
打开开发者工具，谷歌浏览器按F12
发现每个小区的售房信息都在ul下的li标签里，代码如下：
第一步拿到html结构，然后用pyquery解析遍历li标签，我使用了items()方法
接着提取小区名称，找到a标签的class：
提取房类的文本，span标签下面：
其他的Text文本都是这样的方法提取
提醒的一点就是，需要判断一下ul的class，防止有时候网络加载的问题，导致发生错误。
模拟滚动
每跳转一页就滚动一下滚动条，这样做的有好处是有些时候是异步加载的，例如查看评论：
这里可以根据个人不同来定义，我这里以800来滚动。
然后是点击下一页的动作，网页有下一页的选项。一些其他的小动作，可以自己添加哦！
数据存储
我这里用mysql存放数据
数据展示：
在这全民买房的时代，有一项技能我觉得是程序员应该要配备的，无论近期要买或是不买，还是要适当的关注房价走向的。我也喜欢浏览房价，但是在网页里看得眼花缭乱的，程序员就该用程序员的方式看嘛！
于是我用python+selenium来抓取链家房数据，selenium自动化优点是完全可以模拟人工操作网页，而且相对其他爬虫不用写请求头，例如直接request的。
前期准备
1、安裝selenium
命令行：pip install selenium 敲回车
2、下载chromedriver对应的版本：
http://chromedriver.storage.googleapis.com/index.html
直接放在Python的Scripts目录下就可以不用配置变量了，而且也不用声明路径
（后面会说）
3、安裝pyquery：
命令行：pip install pyquery
4、安裝pymysql
命令行：pip install pymysql
网页分析
我们不用声明请求头的参数了，只要我们拿到URL，指哪爬哪！
此次抓取的数据如下：
打开开发者工具，谷歌浏览器按F12
发现每个小区的售房信息都在ul下的li标签里，代码如下：
第一步拿到html结构，然后用pyquery解析遍历li标签，我使用了items()方法
接着提取小区名称，找到a标签的class：
提取房类的文本，span标签下面：
其他的Text文本都是这样的方法提取
提醒的一点就是，需要判断一下ul的class，防止有时候网络加载的问题，导致发生错误。
模拟滚动
每跳转一页就滚动一下滚动条，这样做的有好处是有些时候是异步加载的，例如查看评论：
这里可以根据个人不同来定义，我这里以800来滚动。
然后是点击下一页的动作，网页有下一页的选项。一些其他的小动作，可以自己添加哦！
数据存储
我这里用mysql存放数据
数据展示：
进群：960410445 即可获取数十套PDF！