爬虫遇到的小问题

1.LOGSTATS_INTERVAL = 60.0

日志频率默认60s。自己用的话设置为5s。

2. 安装PIL，需要安装pip install pillow。

3.安装pyautogui选择可以使用最旧的版本号。

4.ssh远程：shh 远程账户@远程ip

4.1 scp命令

5.gunicorn运行py文件命令

gunicorn --config gunicorn_config.py 你的flask文件名（不加.py）:app

6.日志打印exception(e)

logger.exception(e)

---

1.MongoDB服务器端打开：

sudo mongod --dbpath=/var/lib/mongodb

3.pip降低版本

python3 -m pip install --user --upgrade pip==9.0.3

4.编码格式转换问题

import sys
reload(sys)
sys.setdefaultencoding(“utf-8”)

5.cookies处理

a=" "
cookies={}
for line in a.split(’;’):
print(line)
key,value=line.split(’=’,1)
cookies[key]=value
print(cookies)

6.在爬虫项目根目录下新建main.py文件,用于调试

from scrapy import cmdline
cmdline.execute(‘scrapy crawl coser’.split())