基于djang、vue、scrapy-redis、高德地图的豆瓣租房租房信息爬取、存储、可视化综合项目

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/haeasringnar/article/details/83591568

1、scrapy-redis部分
这里主要是用分布式爬虫爬取所有的豆瓣租房信息,然后去重、存数据库(MySQL)。使用分布式的好处是爬取快,可以分布在多台机器上爬取;然后redis可以结合django使用,做到在前台点击一下按钮就可以更新redis键值,从而使scrapy-redis继续爬取最新租房信息。具体代码见码云。
2、django部分
这里主要是处理数据的,将存好的数据有序的传递到vue前端,然后vue进行处理交互。具体代码见码云。
3、vue结合高德地图可视化部分
这里就是主要做数据可视化,以及配合高德地图让使用者更好的找到相关地理位置的房源。具体代码见码云。
后期会放操作截图处理,
具体如何运行;在每个项目内的README.md内都有说明。
项目码云地址:[email protected]:aeasringnar/douban_django.git

猜你喜欢

转载自blog.csdn.net/haeasringnar/article/details/83591568