scrapy分布式爬虫之Ubantu下服务器的搭建

• 1.在windows下安装好分布式爬虫的相关模块，并且成功运行。

• 2.在Ubuntu上安装scrapy之前，需要先安装以下依赖：

  sudo apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev

• 3.在window中打开命令窗口，进入到项目路径（或项目的环境），输入下面的命令，生成一个包含当前项目所有虚拟环境包的文件requirements.txt

pip freeze > requirements.txt

• 4.在linux中安装rz

sudo apt-get install lrzsz

• 5.安装virtualenv和virtualenvwrapper，执行下面命令

sudo pip install virtualenv
sudo pip install virtualenvwrapper
sudo pip3 install virtualenv
sudo pip3 install virtualenvwrapper

sudo apt-get install python-virtualenv
sudo easy_install virtualenvwrapper

• 6.配置虚拟环境

1.创建目录用来存放虚拟环境
mkdir $HOME/.virtualenvs
2.在~/.bashrc中添加行：
export WORKON_HOME=$HOME/.virtualenvs
source /usr/local/bin/virtualenvwrapper.sh
3.运行:
source ~/.bashrc

【扩展】

使用 virtualenvwrapper
虚拟环境相关操作：
lsvirtualenv:                    列出虚拟环境列表(个人喜欢用第二个)
workon+Enter:                        列出虚拟环境列表
mkvirtualenv [虚拟环境名称]:   新建虚拟环境
workon [虚拟环境名称]:              切换虚拟环境
rmvirtualenv [虚拟环境名称]:    删除虚拟环境
deactivate:                                    离开虚拟环境

• 7.创建虚拟环境

mkvirtualenv -p /user/bin/python3 crawler-env(环境名)

• 8.安装requirements.txt

pip3 install -r requirements.txt

linux中不需要pywin32，删除后在执行此命令