원리 파충류 : 단지 크롤러가 우리가 페이지 데이터를 얻을 수 있도록하는 자동화 된 프로그램입니다. 그럼 당신은 아마 정확히 우리가 페이지 데이터를 얼마나 궁금해? 여기에 우리가 네트워크와 통신이 비유라고 : 우리가 액세스 할 때 웹 사이트를 (URL),시 웹 사이트 (URL)는 전화 번호와 유사하고, 컴퓨터, 스마트 폰은 클라이언트 (클라이언트) 같은 것 전화. 클라이언트를 통해 브라우저 액세스 (브라우저) 전송 요청 전화를 통해 전화 번호를 다이얼 같은 (요청). 요청을 수신 당사자라고 서버 서버가 제대로 실행되고 있는지, (웹 서버)과 우리의 요청이 클라이언트로 전송됩니다에 동의 대답 내용에 배치됩니다 대답 (응답) 의 HTML 파일. 이 경우, 브라우저는 우리가 분석 할 수 있습니다 HTML의 파일을하고 우리가 일반적으로 볼처럼 웹 페이지의 모양으로 돌려 보자.
URLLIB은 우리를 통해, 파이썬 모듈 가져 오기 를 호출하고, (하자 urllib.request는 ) 우리가, URL에 요청을 보내 응답을받을 수 있도록.
편지 쓰기 우리가 아직 개봉하고, 다음으로 수행 할에 대상 URL에 해당합니다 사용이다 URLLIB 에서 읽기 () , 편지의 구체적인 내용을 참조하십시오.
urllib.request 수입 urlopen의에서
페이지 = "https://assets.baydn.com/baydn/public/codetime/1/shanbay_news.html"
#爬取페이지数据存入shanbay_news
shanbay_news = urlopen (페이지)
news_data = shanbay_news.read ()
인쇄 (news_data)