python爬虫实战(1)——开发环境搭建

Windows10 64位系统
一.python安装
1)下载python 3.6.0的windows版本;
2)安装python 3.6.0
3) 桌面计算机—>右键“属性”—>点击“高级系统设置”—>高级属性里点击“环境变量”—>在系统变量里path中添加python安装目录。
4)在cmd下验证是否安装成功;
这里写图片描述

二.pycharm安装
1.下载
首先从网站下载pycharm:点击打开链接(链接为:http://www.jetbrains.com/pycharm/download/#section=windows
2.激活
PyCharm 的激活方式:
直接打开pycharm,选License server激活,输入:http://idea.imsxm.com
这里写图片描述
三.第三方库安装
1 . wheel
这里写图片描述
2 . Twisted,提供事件驱动的网络引擎
使用如下命令会自动下载依赖关系包并完成twisted的下载和安装
这里写图片描述
3. scrapy
D:\Python36\Scripts>python -m pip install -U pip scrapy
3.requests (这个库是用来处理HTTP的Python第三方库。)
在命令行窗口中执行下面的命令:

pip install requests

4 . requests: 一个方便、简洁、高效且人性化的HTTP请求库

pip install requests

5 . BeautifulSoup:HTML解析库

pip install bs4

6 . pymongo:MongoDB的Python封装模块

pip install pymongo

7 .selenium:一个Web自动化测试框架,用于模拟登录和获取JS动态数据

pip install selenium

8 .pytesseract:一个OCR识别模块,用于验证码识别

pip install pytesseract

9 .Pillow:Python图像处理模块
1)打开http://www.lfd.uci.edu/~gohlke/pythonlibs/
2)搜索找到“pillow”
3)根据自己系统的版本选择对应的下载包
这里写图片描述
这里写图片描述

pip install Pillow-3.4.2-cp36-cp36m-win_amd64.whl

这样,我们的准备工作就基本完成,如果有另外的需求,在实战中再进行安装,接下来就可以实战Python爬虫了。

猜你喜欢

转载自blog.csdn.net/xu1129005165/article/details/78423917