驴妈妈游记爬虫思路

1.第一步找网址

这一次发现是分页模式,分页模式就需要分页的爬取方法,需要百度学习下分页的爬取技术

2.处理分页

3.Xpath处理需要爬取的内容

我主要选择了标题,游记属性,章节目录和内容 四块内容

标题

梦幻川西之旅(毕棚沟—鹧鸪山—成都)

游记属性 

小樱子angel||2018-12-09发布||12月出游||119张照片

章节目录 

>>美图预告>>毕棚沟,隐藏在山沟里的一片冰雪世界>>鹧鸪山,一个梦幻童心的冰雪世界
>>宽窄巷子,来成都必去的景点打卡地>>太古里,网红街拍好去处
>>冬日的成都街头,秋意依然浓厚>>川西不能错过的美食>>关于住宿>>旅行后的碎碎念

内容 

作为在南方长大的孩子,总觉得从小没有看过雪是成长中的一种遗憾。而长大后,
就觉得有雪的世界才是冬天该有的样子。每到冬季,总会想要到那下雪的圣地走一走,
幻想着眼前白雪飘飘的一片世界,那该有多美!所以,
这几年也陆陆续续的借着旅行的机会目睹过那些冰雪世界,总算是把小时候的遗憾补回来了。

但人总是“贪心”的嘛,对于总痴迷于冰雪世界的我来说今年也不想在无
雪的南方平淡的度过这个冬季,所以,在即将踏入12月的南方还热得穿
着短袖的孩子,决定要去过一个有雪的冬天,于是,收拾起冬装,去那
有着大自然美的四川,开启了一场梦幻的冰雪约会!

单一页进行代码测试 

 4.导入数据库中存储

作者微信号w912917507

猜你喜欢

转载自blog.csdn.net/qq_912917507/article/details/85112947