Scrapy - 스파이더 미들웨어

파충류 미들웨어 (스파이더 미들웨어)

파충류 미들웨어 사용 및 다운로드 미들웨어는 매우 비슷하지만 개체의 역할에 차이가 있습니다. 오브젝트 요청 역할 미들웨어 요청 및 응답을 리턴 다운로드되는 상기 오브젝트 크롤러 미들웨어 파충류의 역할은,보다 구체적으로는, 다음의 거미 파일 폴더들 각각에 기록된다. 아래와 같이 데이터 플로우 그래프 Scrapy 잘 분리 영역에서의 관계.

다운로드 미들웨어 4,5- 나타내고, 6,7- 미들웨어 파충류를 나타낸다. 파충류 미들웨어는 다음과 같은 상황에서 호출됩니다.

1. 를 실행하는 경우 yield scrapy.Request()또는 yield item때 파충류 미들웨어 process_spider_output()메서드가 호출됩니다.
2. 파충류 코드 자체가 나타 났을 때 Exception파충류 미들웨어 때 process_spider_exception()메서드가 호출됩니다.
3. 콜백 함수 내부에서 파충류는 경우 parse_xxx()가 호출되기 전에, 파충류 미들웨어 process_spider_input()메소드가 호출된다.
4. 를 실행할 때 start_requests()시간, 파충류 미들웨어 process_start_requests()메서드가 호출됩니다.