python3简单爬虫环境配置+爬虫源代码（让小白也能玩好爬虫）

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接： https://blog.csdn.net/gudada010/article/details/95508630

1.pycharm爬虫环境配置

一，首先，你需要打开pycharm。

二，导入必要的模块

1.打开pycharm后，找到file，然后点击settings

2.找到Project Interpreter 并打开，点击右边的+

3.导入pip模块，搜索pip并导入

以相同的方式分别搜索requests和lxml模块并导入
但是注意导入lxml模块时选择版本为3.7.2
因为lxml在3.7.2版本后就没有了etree，对于我们xpath获取数据是有影响的
到这里环境就配置成功啦！！

2.小爬虫–爬取猫眼电影数据

源代码（可直接复制使用）

这里访问的是猫眼电影排行榜前10
网址：https://maoyan.com/board
可以进入网站核实一下爬取的数据对不对

import requests
from lxml import etree

# 得到一个网页数据
def getonepage():

    # 网址
    url = 'https://maoyan.com/board'

    # 模拟浏览器
    header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'}

    # 访问网站获取网站数据
    r = requests.get(url, headers=header)

    # 返回网站数据文本
    return r.text


# 处理并输出网页数据
def parse(text):

    # 处理网站数据文本
    html = etree.HTML(text)

    # 获取指定位置网站数据
    names = html.xpath('//div[@class="movie-item-info"]/p[@class="name"]/a/@title')  # 获取电影名

    releasetimes = html.xpath('//div[@class="movie-item-info"]/p[@class="releasetime"]/text()')  # 获取电影上映时间

    # 将电影名和上映时间绑定在一起输出
    for name, releasetime in zip(names, releasetimes):
        print(name, releasetime)


# 将获取的数据赋值给text
text = getonepage()


# 处理并输出网页数据
parse(text)

爬取结果：

3.结束语

到这里你已经掌握了一个小小的爬虫
其实一个厉害的爬虫项目是需要配置很多环境的（这里只是小小的一部分）
编者我也是个小白，写这篇文章
一是为了以后忘记了可以回来看看
二是想把自己的学习经验分享给其他的小白
希望你看完这篇文章能对你有所帮助，大佬勿喷
我，还在路上