requets
요청이 많은 URLLIB보다 사용하기 위해 파이썬 HTTP 라이브러리 사용하기 쉽고, 간단하게 구현
이 타사 라이브러리이기 때문에, 그래서 사용하기 전에 설치 CMD
핍 요청을 설치
설치가 완료 가져 오기가되면 다음 정상 준비 사용할 수 있습니다.
기본 사용법 :
requests.get ()는 목표 부위 타입을 요청하는 데 사용되는 유형이다 HttpResponse에
요청 MPORT 응답 = requests.get ( 'http://www.baidu.com') 인쇄 (response.status_code) # 인쇄 상태 코드 인쇄 (response.url) # 인쇄 요청 URL 인쇄 (Response.Headers) 프린트 헤드 정보 # 인쇄 (에는 Response.Cookies) # 인쇄 쿠키 정보 인쇄 (response.text) # 텍스트로 페이지 소스 인쇄 바이트의 인쇄 (response.content) # 인쇄 스트림을
귀하의 요청에 헤더 정보를 추가
가져 오기 요청의 머리 = {} 머리 [ ' 사용자 에이전트 ' ] = ' 모질라 / 5.0 ' \ ' 키 (Macintosh; U; 인텔 맥 OS X 10_6_8; EN-US) AppleWebKit / 534.50 ' \ ' (도마뱀 붙이와 같은 KHTML) 버전 /5.1 사파리 / 534.50 ' 응답 = 요청. 수 ( ' http://www.baidu.com ' , 헤더 = 헤더)
아름다운 수프
간단히 말해, 아름다운 수프는 가장 중요한 기능은 웹 페이지에서 잡아 데이터이며, 파이썬의 라이브러리입니다. 다음과 같이 공식 설명입니다 :
아름다운 수프, 간단한, 네비게이션, 검색을 처리하기위한 파이썬 형 기능을 제공하는 구문 분석 트리 기능을 수정합니다. 간단하기 때문에, 그래서 완전한 응용 프로그램을 작성하는 많은 코드를 필요로하지 않는 문서를 구문 분석하는 사용자가 캡처 필요한 데이터를 제공하는 툴킷입니다. 다운 스프 자동 입력 문서를 코딩하는 유니 코드로 변환 문서는 인코딩 된 출력 UTF-8로 변환된다. 문서가 코드를 지정하지 않는 한 당신은, 인코딩을 고려하지 않아도, 다음, 아름다운 수프가 자동으로 인코딩을 식별 할 수 없습니다. 그런 다음, 당신은 단지 그것을 코딩 원본을 설명 할 필요가있다. 아름다운 수프는 파이썬 인터프리터 좋은으로, 다른 분석 전략이나 강한 속도 유연성을 사용자에게 제공하고 LXML, html6lib이되고있다.
eautiful 수프는 HTML 파서 파이썬 표준 라이브러리는 또한, 타사 파서을 지원합니다 우리가 그것을 설치하지 않는 경우, 파이썬은 기본 파이썬 파서, LXML 파서 더 강력하고, 빠르고, 권장 설치를 사용합니다 지원합니다.
html.parser 문서 결함 허용 기능
lxml이 블록 속도, 결함 허용 기능
유일한 지원 XML XML 파서 매우 빠르고,
html5lib 느린, 내결함성 강한
간단한 작은 파충류 연습
가져 오기 요청 BS4 가져 오기 BeautifulSoup로에서 : getHTMLText (URL) DEF : 시도 R = requests.get (URL, 시간 제한 = 30) R = raise_for_status () = "UTF-8"r.encoding 반환 r.text : 제외하고는 "반환" URL = "http://www.baidu.com" 인쇄 (getHTMLText (URL))
가져 오기 요청 BS4 가져 오기에서 BeautifulSoup로 URL = "http://www.baidu.com" R = reuqests.get (URL) = "UTF-8"r.encoding 수프 = BeautifulSoup로 (R, "XML") 인쇄 (수프. title.arrts) 인쇄 (soup.title.name) 인쇄 (soup.title.string)