Python爬虫环境搭建（Mac）

这是一篇对此教程视频的笔记。看视频太磨叽了，安装都是分成了win、linux、mac三种，再看视频的话怕是没那个耐心看。

Homebrew与Anaconda

Homebrew充当的角色是mac下的apt-get，是一种包管理工具。先把Homebrew安装到mac上。然后用它安装python3，最后验证python3与pip3是否安装成功。

Anaconda墙内可以参考https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/上面的教程。

数据库

安装MongoDB

brew install mongodb

验证：
开启MongoDB数据库，mongod，然后使用mongo去链接数据库。

由于之前已经安装过MongoDB，很久没有用过了，启动时出现错误，错误如下：exception in initAndListen: 29 Data directory /data/db not found., terminating
这里写图片描述
解决办法有两种：
一种是在启动时指定一个其他的db文件所在的目录：

mongod --dbpath ~/Documents/mongo/db

另一种是，创建/data/db并授予相应的权限：

sudo  mkdir -p /data/db
sudo chmod ugo+rwx /data/db

成功执行后如下：
这里写图片描述

使用mongo连接：
这里写图片描述

测试几个命令：

> show dbs
admin  0.000GB
local  0.000GB
> use local
switched to db local
> db.test.insert({'a':1})
WriteResult({ "nInserted" : 1 })

Redis
分布式爬虫中，维护爬虫队列。

brew install redis

安装完成后，输入redis-cli即可连接上redis，如果失败，可以尝试使用redis-server打开数据库服务。
这里写图片描述

redis的配置文件
位置：/usr/local/etc/redis.conf
远程访问：注释掉bind 127.0.0.1
设置密码：取消注释# requirepass foobared
重启即可生效。

使用brew查看services

brew services list

使用brew启动/重启动service

brew services start/restart redis

MySQL

brew install mysql

Python多版本共存配置

使用软链接对不同的版本，进行命名的简化。如生成python3.6的软链接为python，按照需求，把不同的版本链接到此文件名上。注意将软连接文件放在PATH中，或加入其中也可。

安装Python爬虫库

这里写图片描述
requests：Python发送请求所用到的库
selenium：模拟浏览器访问
beautifulsoup4：解析网页
pyquery：网页解析库。接收网页源代码，然后通过与jQuery类似的语法获取相应的数据。
pymysql/pymongo：使用Python访问MySQL/MongoDB数据库
django/flask：Python Web框架

其中有一个非常有意思的工具jupyter，它是一款网页端的笔记本，可以在其中运行代码等，它的启动方式是在终端输入：jupyter notebook。