使用gerapy部署scrapy爬虫项目

启动gerapy服务

  • 首先需要保证Python环境中有gerpay包
    没有的话可以使用pip install gerapy安装(文中所做操作均在Windows系统中)
  • 在cmd命令行工具中输入gerapy,这一步其实非必要,只是让你知道gerapy中的命令
    gerapy
    给出的提示信息中是你可以执行的命令
  • 接下来在命令行中输入gerapy init
    gerapy
    执行之后你会看到没有任何提示信息,但会在当前工作目录下创建一个gerapy文件夹,为了方便我是在桌面上(cd Desktop)进行的
  • 把工作目录切换到gerapy文件夹中(cd gerapy)
    在输入 gerapy migrate
    gerapy
    你会看到一堆的提示信息,打开你的gerapy文件夹
    gerapy
    有一个sqlite3文件,没错,这一步的操作就是为了创建它,暂时不需要知道它是做什么的,但是此步不能忽略
  • 启动服务,执行gerapy runserver
    gerapy
    此时我们已经启动了gerapy服务,不要把命令行工具关掉,否则服务将被关闭
  • 在浏览器地址栏输入127.0.0.1:8000
    gerapy
    可以看到还算精美的界面(比起scrapyd页面的话),右上角可以中英文切换(人性化的设计)

部署已有的scrapy项目

  我们部署的scrapy项目其实还是部署到了scrapyd服务上,只是gerapy为我们提供了方便的操作和精美UI,可以部署已有的scrapy项目,也可以创建scrapy项目

1. 部署已有scrapy项目

  • 接下来:
    gerapy
    注:发现下面两张图中字母写错,是scrapd,不好意思,诸位明白就好
    gerapy
    gerapy
    gerapy
    gerapy
    手动在当前scrapyd服务部署的scrapy项目同样会在主机中,手动部署项目请参考另一篇博文手动部署scrapy爬虫项目到Scrapyd服务

  • 点击部署
    gerapy
    gerapy
    gerapy

2. 在线创建scrapy项目

gerapy

猜你喜欢

转载自blog.csdn.net/xinyan233/article/details/79942314