설치하고 새로운 프로젝트와 파충류를 실행 scrapy

 > 참조 : https://www.cnblogs.com/hy123456/p/9847570.html

에서 pycharm생성되지 않는 scrapy프로젝트의 옵션을 수동으로 작성해야합니다.

다음 두 가지 방법으로 만들 수있다 scrapy패션 아이템 먼저 수동으로 만드는 것입니다, scrapy프로젝트를 다음으로 가져 pycharm, 두 번째는에 바로 pycharm프로젝트를 생성 할 수있는 명령 줄 창을 사용 (내가 사용하는 것은이 더 편리합니다) ;

1. 수동 가져 오기 모드 만들기

1. 현재 프로젝트에 대한 가상 공간을 만들기 :

   VIRTUALENV --no-사이트 패키지 ScrapyLearning

2. 현재 가상 공간을 시작합니다 :

   # 창에서 관련 가상 공간에서 현재 디렉토리로 : ScrapyLearning / 스크립트 / 
   액티브 한의     #은 현재 가상 공간 활성화

3. 설치 scrapy:

   -i https://pypi.douban.com/simple/ scrapy PIP의 설치    # 사용 물냉 소스를

4. 사용 scrapy만드는 scrapy프로젝트 :( 직접하지 않도록주의 script프로젝트의 새 디렉토리를)

   startproject ArticleSpider scrapy    # 프로젝트 이름 ArticleSpider

5. ArticleSpider프로젝트 가져 오기 pycharm.

 

2. pycharm생성

1. pycharm 새로운 건설에서 현재 프로젝트에 대한 가상 공간을 만들도록 선택;

2. 에서 pycharm하단 Terminal설치하려면 다음 명령을 입력합니다 scrapy(없는 경우) :

   -i https://pypi.douban.com/simple/ scrapy PIP의 설치    # 사용 물냉 소스를

3. 에서 pycharm의 하단부 Terminal입력 :

   scrapy startproject ArticlePaqu

   현재 프로젝트 디렉토리 아래에 생성됩니다 ArticlePaqu폴더, 이것은이다 scrapy프로젝트 폴더.

 

3. 작은 파충류 만들기

하나의 작은 파충류 만들기, 크롤링 scrapy공식적으로 샘플 페이지를 지정 : example.com.

명령 줄이나 pycharm에 Termina창 유형 (그것은 새로운 프로젝트 디렉토리의 다음 앞해야한다) :

scrapy genspider 예 ' www.example.com '

에있을 것입니다 spider크롤러 폴더 생성 python파일을 자동으로 초기 코드를 작성 :

# - * - 코딩 : UTF-8 - * - 
임포트 scrapy의 
클래스 ExampleSpider (scrapy.Spider) 
    이름 = ' 예 ' 
    allowed_domains = ' example.com ' ] 
    start_urls = ' http://example.com/ ' ] 
    DEF 파싱 (자동 응답)
         패스

 

4. 실행 파충류

4-1 명령 줄 또는 유형 :pycharmTerminal

scrapy 크롤링 예

시작하려면 example크롤러.

4-2 직접 실행하여 실행 파일 :pycharmpython

필요 scrapy프로젝트의 루트 디렉토리 생성 main.py파일 :

에서 scrapy.cmdline를 가져 실행 
오기 SYS
 오기 OS의    #을 클리핑 모듈 얻는 

((에 os.path.dirname (os.path.abspath sys.path.append를 __FILE__ ))) 
실행 ([ ' Scrapy ' , ' 크롤링 ' , ' 예 ' ])

즉 동일합니다

scrapy 크롤링 예

명령은 세 부분으로 나누어 져 list배치 된 python실행 프로그램 execute의 기능.

그런 다음를 잘 할 수 기능 실행 크롤러.run main.pyexample