1, 준비 크롤러
2, 프로젝트 구성을 수정
풀어 URL을 댓글을 달았됩니다 프로젝트 구성 파일 scrapy.cnf을 찾기
이 코드는 데이터베이스에 연결되어, 해당 구성 데이터베이스를 수정하는 것이 필요하다
사실, 데이터베이스 내부의 주소가 원격 데이터베이스 서버 주소로 수정 될, scrapy 서버를 보장 할 필요가 데이터베이스 서버에 연결할 수
3, 배포 프로젝트
scrapyd 서비스를 보장하기 위해 프로젝트를 배포하기 전에 설정되어 있습니다.
로컬 파충류 공학의 디렉토리를 입력
해당 배치 명령 수행
(4) 스케줄링 파충류
일정은 컬 크롤러를 요구, 다음 명령은 프로젝트 디렉토리 DOS 창에 해당 할 수있다, 명령 행의 pycharm에서 실행할 수 있습니다
4.1, 파충류, 상기 원격 서버를 볼
컬에 http : // node100 : 6800 / listprojects.json
4.2, 파충류 공학의 상단에 배치 된 원격 서버를 제거
컬에 http : // node100 : 6800 / delproject.json -d 프로젝트 = doubanSpider
4.3, 파충류를 시작합니다
컬에 http : // node100 : 6800 / schedule.json의 -d 프로젝트 = doubanSpider -d 거미 = douban
4.4 취소 파충류
컬 HTTP : -d 프로젝트 //node100:6800/cancel.json = doubanSpider -d 작업 = 000f47e035e911e9a8e90bb05244259f