为美景而写的爬虫

为美景而写的爬虫

  • 写在前面:
蚂蜂窝旅游网一直是我关注的旅游网站,里面的游记图片颜值颇高(经常被百度百科拿来作为介绍地点的图片)。
而且不需要登录就可以看到里面游记的高清原图。


我也常常将上面的风景图下载(右键另存为)作为桌面壁纸。特别是蜂首游记的图片,都仿佛出自摄影师之手(图片不好也可能作为蜂首吧)
所以我花了个把小时,写了个爬取蚂蜂窝游记高清美图的爬虫。
  • 自卖自夸
网上爬取图片的爬虫,数不胜数。我借鉴综合了一些好的方法编写而成。我觉得我的爬虫程序有以下几个特色:

1,将游记网址作为开始的接入口。

2,尽量个性化,比如将游记的名称打印出来,可以自动创建以游记名命名的图片文件夹
     显示游记图片的数量,下载进度等。

3,支持断点下载,因为有的游记图片数量巨多(800多张),而且图片的大小都几乎超过1M,18M的gif动画图也有。下载过程中难免 会出现网页请求过长的错误,所以我添加了几行代码,当下载出现错误时,重新启动程序就会继续后面的下载(这主要利用了列表的功能)。

CMD中运行是这样的:



  • show



鉴于爬取图片的爬虫并不是很难,这里就不分析代码结构了,完整代码放在github当中。

最后申明:爬取的图片不会用于商业目的,纯属对于蜂友摄影技术和旅行经历的赞赏。如有侵权,请联系删除。                         (qq:1529806383)


猜你喜欢

转载自blog.csdn.net/hust_a/article/details/52650926
今日推荐