로봇은 당신이 뭔가 그를 들키지 않을 것 잡을 수있는 검색 엔진을 말할 수있는 프로토콜입니다.
그리고 robots.txt 파일은 처음 거미 방문, 그래서 우리는 ~ ~ 페이지 순위에 기록 할 참여해야!
우리는 최고의 순위를 얻을 수 있도록, 검색 엔진은 높은 품질, 캐치하지 품질이 낮은 잡을에게 검색 엔진은 우리가 전체의 모든 아주 좋은 사이트라고 생각기만하기 만하면됩니다.
다음과 같이 우리는 웹 루트 디렉토리에 robots.txt 파일을 만들어 사용합니다 :
우리는 Taobao의 플레이를 볼 수 있습니다 :
위의 차트를 볼 수 있습니다에서 Taobao의 그가 robots.txt 파일을 작성하는이 같은 큰 웹 사이트는 검색 엔진 ~~ 사이트를 크롤링 할 수있는 위의 식별 데이터에 따라 있습니다!
사용자 에이전트 : Baiduspider
여기에는 크롤링 바이 거미를 알리는 것입니다
금지 : /
막힌
사용자 에이전트 : *
금지 : /
이은로 표시되어있는 경우, 파일 검색 엔진의 모든 크롤링 할 수 대표
사용자 에이전트 : *
허용 안 : / 관리
Admin 폴더를 크롤링 검색 엔진 금지
사용자 에이전트 : * 허용 안 : / 관리 허용 : / 관리 / 이미지 / 123 .PNG
관리자 디렉토리는 파충류의 크롤링을 금지하지만, 검색 엔진 관리자 디렉토리 123.png 아래의 이미지 디렉토리 아래에 크롤링 할 수 있습니다
여기에서 우리는 다음과 같이 자신의 로봇 파일을 작성하기 시작 :
플랫폼 소유자를 웹 루트 디렉토리에 저장 한 후 착륙 후 :
그런 다음이를 확인 :
이 약간 ~ ~ 동작하는 로봇의 전체 집합을 완료!