抓取微信文章：使用代理来处理反爬虫措施

参考：崔庆才老师教程

目标网站分析

我们将从搜狗-微信这个网址来爬取微信的文章。
https://weixin.sogou.com/

输入“程序员”并搜索：

可以看到上方的URL有许多的信息，我们只保留query、type、page这几个参数即可。修改page可以实现翻页。
ps：登录后才能查看第10页之后的内容

打开审查->Network->勾选Preserve，然后疯狂翻页，不久后就会跳转到这样的页面：

这说明大量翻页触发了网站的反爬虫措施，导致ip被封，需要进行解锁。

然而从doc中可以看到，请求失败的那页（状态码应该非200）被隐藏，只留下了状态码为200的这个验证页面。但是实际上，最后的那次请求返回状态码是302。

302表示旧地址A的资源还在（仍然可以访问），这个重定向只是临时地从旧地址A跳转到地址B，搜索引擎会抓取新的内容而保存旧的网址。

再分析一下网页的结构：

在搜索结果的页面中，选择标题这个元素，可以看到这篇文章的URL。点击进去后，就会跳转到微信的页面了。

流程框架

• 抓取索引页内容
  利用requests请求目标站点，得到索引网页HTML代码，返回结果。

• 代理设置（关键）

  如果遇到302状态码，则证明IP被封，切换代理重试。

• 分析详情页内容
  请求详情页 ，分析得到标题，正文等内容

• 将数据保存到MongoDB

爬虫实战

获取索引页

首先编写获取索引页的代码并测试：

from urllib.parse import urlencode
import  requests
from requests.exceptions import ConnectionError

base_url = 'https://weixin.sogou.com/weixin?'
headers={'Cookie': 'IPLOC=CN3205; SUID=E5C695243118960A000000005BD115E8; ld=Tlllllllll2b1SgolllllVsSVWklllllJJgpiyllll9lllllpylll5@@@@@@@@@@; SUV=1540429307839674; ABTEST=4|1541298543|v1; weixinIndexVisited=1; JSESSIONID=aaaKxagg6ZBOkf5LLDaBw; sct=2; ppinf=5|1541299811|1542509411|dHJ1c3Q6MToxfGNsaWVudGlkOjQ6MjAxN3x1bmlxbmFtZToyNzolRTclOEMlQUElRTUlODYlQjIlRTUlODclODl8Y3J0OjEwOjE1NDEyOTk4MTF8cmVmbmljazoyNzolRTclOEMlQUElRTUlODYlQjIlRTUlODclODl8dXNlcmlkOjQ0Om85dDJsdU9wakYzNVp1NklhNGhqYTdKUUxydTRAd2VpeGluLnNvaHUuY29tfA; pprdig=FzBX9Lki68sfImndi44lcV84vLEqbuPe8AXYRZYh5DtlawPVJEYr3bvv1oF8vmRfP0_rrTGYvtpqKwb39yNvJWqXl-Oh-29iaP0S893esgJdg2XNaxk7PNy5dcq1gMZOmf2kS_2YjNbV8WDULQnpjleCUcqcMMw3Av-FlSTgeh4; sgid=19-37785553-AVveXmPrwZ6BLoWTJ85UWicI; ppmdig=1541299811000000f0314597e0483df6fc4b14c41cacb024; PHPSESSID=0t7h64pmb3n0iphtp2j62i3a26; SUIR=A278AA1A3F3B46F2B8CFF48F3FD5AB76; SNUID=8ED5863612176BDC72510ED513A5E096',
'Host': 'weixin.sogou.com',
'Referer': 'https://weixin.sogou.com/weixin?query=%E7%A8%8B%E5%BA%8F%E5%91%98&type=2&page=39&ie=utf8',
'Upgrade-Insecure-Requests': '1',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'
         }

#请求url，这部分需要多次使用，所以单独写为一个函数
def get_html(url):
    try :
        response = requests.get(url, allow_redirects = False,headers=headers)#禁止自动处理跳转
        if response.status_code == 200:
            return response.text
        if response.status_code == 302:
            # 需要代理
            pass
    except ConnectionError:
        return get_html(url) #若失败，重试

#获取索引页
def get_index(keyword,page):
    data = { #将get请求所需要的参数构造为字典
        'query':keyword,
        'type':2,
        'page':page
    }
    queries = urlencode(data)
    url = base_url + queries #完成url的拼接
    html = get_html(url)#调用请求页面的函数
    print(html)

if __name__ == '__main__':
    get_index('程序员',1)

上面的代码是非常好理解的。url采用拼接的方法，将前面固定的部分与后面的参数拼接起来就是我们所需要的，例如：https://weixin.sogou.com/weixin?query=程序员&type=2&page=1 这个url。
headers的部分，可以从网页审查中复制过来，并且构造为一个字典：

运行程序后可以看到，第一页的html已经被获取了：

由于只请求了第一页，并不会触发反爬虫措施，那么我们将代码完善，使程序循环地请求网页：

keyword = "程序员"
#请求url
def get_html(url):
    try :
        response = requests.get(url, allow_redirects = False,headers=headers)#禁止自动处理跳转
        if response.status_code == 200:
            return response.text
        if response.status_code == 302:
            # 需要代理
            print("302！")
    except ConnectionError:
        return get_html(url) #若失败，重试

#获取索引页
def get_index(keyword,page):
    data = { #将get请求所需要的参数构造为字典
        'query':keyword,
        'type':2,
        'page':page
    }
    queries = urlencode(data)
    url = base_url + queries #完成url的拼接
    html = get_html(url)
    return html

def main():
    for page in range(1,101):
        html = get_index(keyword,page)
        print(html)

if __name__ == '__main__':
    main()

运行后可以看到，起初还能正常请求，继而就报出了302信息：

这就说明此时的ip已经被封了。

使用代理

出现ip被封的情况，我们就需要更换代理进行请求。

proxy_pool_url = 'http://127.0.0.1:5000/get' #这是从web接口获取代理的地址

proxy = None #将代理设为全局变量
max_count = 5 #最大请求次数

#获取代理
def get_proxy():
    try:
        response = requests.get(proxy_pool_url)
        if response.status_code == 200:
            return response.text
        return None
    except ConnectionError:
        return None

#请求url
def get_html(url,count = 1):
    #打印一些调试信息
    print('Crawling:', url)
    print('Trying Count:', count)

    global proxy #引用全局变量
    if count >= max_count:#如果请求次数达到了上限
        print('Tried too many counts！')
        return None

    try :
        if proxy:# 如果现在正在使用代理
            proxies = {
                'http:':'http://'+ proxy #设置协议类型
            }
            response = requests.get(url, allow_redirects = False, headers = headers ,proxies = proxies)#使用有代理参数的请求
        else: #否则使用正常的请求
            response = requests.get(url, allow_redirects = False,headers=headers)#禁止自动处理跳转
        if response.status_code == 200:
            return response.text
        if response.status_code == 302:
            # 需要代理
            print("302！")
            proxy = get_proxy()
            if proxy:
                print('Using Proxy', proxy)
                return get_html(url)
            else:
                print('Get Proxy Failed')
                return None
    except ConnectionError as e:
        print('Error Occurred',e.args)#打印错误信息
        proxy = get_proxy() #若失败，更换代理
        count += 1 #请求次数+1
        return get_html(url,count) #重试

运行前需要将代理池打开，详情可参考上一篇文章：如何用Flask和Redis维护代理池。
运行后：

可以看到程序在不断尝试使用新的代理进行请求。
但是很不幸，尝试的代理，没有一次是请求成功的…估计是这些免费的代理太多人在用了，又或者是搜狗的反爬变严格了。

解析索引页

# 解析索引页
def parse_index(html):
    doc = pq(html)
    items = doc('.news-box .news-list li .txt-box h3 a').items()
    for item in items:
        yield item.attr('href')

这一步很简单，通过Pyquery的标签选择器就可以完成了。

请求详情页

#请求详情页
def get_detail(url):
    try:
        response = requests.get(url)
        if response.status_code == 200 :
            return  response.text
        return None
    except ConnectionError:
        return  None

由于微信文章没有比较严格的反爬措施，也就不再需要添加代理，正常请求就好了。

解析详情页

# 解析详情页
def parse_detail(html):
    doc = pq(html)
    title = doc('.rich_media_title').text()
    content = doc('.rich_media_content').text()
    date = doc('#post-date').text()
    nickname = doc('#js_profile_qrcode > div > strong').text()
    wechat = doc('#js_profile_qrcode > div > p:nth-child(3) > span').text()
    return {
        'title':title,
        'content':content,
        'date':date,
        'nickname':nickname,
        'wechat':wechat
    }

这一步也没啥好说的，直接传标签选择器就完事儿了。

保存至MongoDB

client = pymongo.MongoClient('localhost')
db = client["weixin"]

def save_to_mongo(data):
    if db['articles'].update({'title':data['title']},{'$set':data},True):#如果不存在则插入，否则进行更新
        print('save to Mongo',data["title"])
    else:
        print('Save to Monge Failed',data['title'])

完整代码

from urllib.parse import urlencode
import  requests
from lxml.etree import XMLSyntaxError
from requests.exceptions import ConnectionError
from pyquery import PyQuery as pq
import pymongo

client = pymongo.MongoClient('localhost')
db = client["weixin"]

base_url = 'https://weixin.sogou.com/weixin?'
headers={'Cookie': 'IPLOC=CN3205; SUID=E5C695243118960A000000005BD115E8; ld=Tlllllllll2b1SgolllllVsSVWklllllJJgpiyllll9lllllpylll5@@@@@@@@@@; SUV=1540429307839674; ABTEST=4|1541298543|v1; weixinIndexVisited=1; JSESSIONID=aaaKxagg6ZBOkf5LLDaBw; sct=2; ppinf=5|1541299811|1542509411|dHJ1c3Q6MToxfGNsaWVudGlkOjQ6MjAxN3x1bmlxbmFtZToyNzolRTclOEMlQUElRTUlODYlQjIlRTUlODclODl8Y3J0OjEwOjE1NDEyOTk4MTF8cmVmbmljazoyNzolRTclOEMlQUElRTUlODYlQjIlRTUlODclODl8dXNlcmlkOjQ0Om85dDJsdU9wakYzNVp1NklhNGhqYTdKUUxydTRAd2VpeGluLnNvaHUuY29tfA; pprdig=FzBX9Lki68sfImndi44lcV84vLEqbuPe8AXYRZYh5DtlawPVJEYr3bvv1oF8vmRfP0_rrTGYvtpqKwb39yNvJWqXl-Oh-29iaP0S893esgJdg2XNaxk7PNy5dcq1gMZOmf2kS_2YjNbV8WDULQnpjleCUcqcMMw3Av-FlSTgeh4; sgid=19-37785553-AVveXmPrwZ6BLoWTJ85UWicI; PHPSESSID=0t7h64pmb3n0iphtp2j62i3a26; SUIR=A278AA1A3F3B46F2B8CFF48F3FD5AB76; SNUID=5E6D3E8EABAFD279CA76D65AAB866BC9; ppmdig=154133180100000026c4f7c59d4fcd1c4b8140c7bf7429d3',
'Host': 'weixin.sogou.com',
'Referer': 'https://weixin.sogou.com/weixin?query=%E7%A8%8B%E5%BA%8F%E5%91%98&type=2&page=10&ie=utf8',
'Upgrade-Insecure-Requests': '1',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'
         }
keyword = "程序员"
proxy_pool_url ='http://127.0.0.1:5010/get' #这是从web接口获取代理的地址

proxy = None #将代理设为全局变量
max_count = 3 #最大请求次数

#获取代理
def get_proxy():
    try:
        response = requests.get(proxy_pool_url)
        if response.status_code == 200:
            return response.text
        return None
    except ConnectionError:
        return None

#请求url
def get_html(url,count = 1):
    #打印一些调试信息
    print('Crawling:', url)
    print('Trying Count:', count)

    global proxy #引用全局变量
    if count >= max_count:#如果请求次数达到了上限
        print('Tried too many counts！')
        return None

    try :
        if proxy:# 如果现在正在使用代理
            proxies = {
                'http':'http://'+ proxy #设置协议类型
            }
            response = requests.get(url, allow_redirects = False, headers = headers ,proxies = proxies)#使用有代理参数的请求
        else: #否则使用正常的请求
            response = requests.get(url, allow_redirects = False,headers=headers)#禁止自动处理跳转
        if response.status_code == 200:
            print("请求成功！")
            return response.text
        if response.status_code == 302:
            # 需要代理
            print("302！")
            proxy = get_proxy()
            if proxy:
                print('Using Proxy', proxy)
                return get_html(url)
            else:
                print('Get Proxy Failed')
                return None
    except ConnectionError as e:
        print('Error Occurred',e.args)#打印错误信息
        proxy = get_proxy() #若失败，更换代理
        count += 1 #请求次数+1
        return get_html(url,count) #重试

#获取索引页
def get_index(keyword,page):
    data = { #将get请求所需要的参数构造为字典
        'query':keyword,
        'type':2,
        'page':page
    }
    queries = urlencode(data)
    url = base_url + queries #完成url的拼接
    html = get_html(url)
    if html:
        print('第'+str(page)+'页获取成功！')
        return html
    # else:
    #     return get_index(keyword,page)

# 解析索引页
def parse_index(html):
    doc = pq(html)
    items = doc('.news-box .news-list li .txt-box h3 a').items()
    for item in items:
        yield item.attr('href')

#请求详情页
def get_detail(url):
    try:
        response = requests.get(url)
        if response.status_code == 200 :
            return  response.text
        return None
    except ConnectionError:
        return  None

# 解析详情页
def parse_detail(html):
    try:
        doc = pq(html)
        title = doc('.rich_media_title').text()
        content = doc('.rich_media_content').text()
        date = doc('#post-date').text()
        nickname = doc('#js_profile_qrcode > div > strong').text()
        wechat = doc('#js_profile_qrcode > div > p:nth-child(3) > span').text()
        return {
            'title':title,
            'content':content,
            'date':date,
            'nickname':nickname,
            'wechat':wechat
        }
    except XMLSyntaxError:
        return None


def save_to_mongo(data):
    if db['articles'].update({'title':data['title']},{'$set':data},True):#如果不存在则插入，否则进行更新
        print('save to Mongo',data["title"])
    else:
        print('Save to Monge Failed',data['title'])




def main():
    for page in range(1,101):
        html = get_index(keyword,page)
        if html:
            article_urls = parse_index(html)
            for article_url in article_urls:
                article_html = get_detail(article_url)
                if article_html:
                    article_data = parse_detail(article_html)
                    print(article_data)
                    if article_data:
                        save_to_mongo(article_data)


if __name__ == '__main__':
    main()

总结

本文主要是熟悉一下代理的设置。
需要注意的是，程序使用的代理是从自己维护的代理池中取用的（使用的是github大佬的代码），而代理池是从网上获取的一些公共IP，这些IP一般是不太稳定的，也有可能是很多人都在使用的，所以爬取效果可能不是很好，被禁的概率那是非常的高。当然，你也可以使用自己购买的一些代理，只需要改写“get_proxy”方法就ok了。
最后，还需要注意Cookies的一些设置。cookies是过期时间的，如果在抓取过程中发现无法获取后面的内容，有可能是cookies已经过期了，这时候我们重新登录一下，然后替换掉原来的Cookies就好了。