潭州课堂25班:Ph201805201 爬虫高级 第一课 pyspider框架 (课堂笔记)

利用wheel安装

S1: pip install wheel
S2: 进入www.lfd.uci.edu/~gohlke/pythonlibs/,Ctrl + F查找pycurl

这个包名是pycurl-版本-你下载的python版本(如python3.4,就是cp34)-win32/64操作系统),选择你所需要的进行下载
S4: 安装编译包,命令行输入 pip install 你下载的whl文件的位置如(d:\pycurl-7.43.1-cp34-cp34m-win_amd64.whl)
S5: 继续pip install pyspider

pip install 安装好后

在 cmd 中运行

js渲染的页面数据不容易抓取,因为 http 请求库是能直接运行 js 代码 的 如urlilb, requests

而 pyspider  是支持 js  的

猜你喜欢

转载自www.cnblogs.com/gdwz922/p/9704638.html
今日推荐