셀레늄 테스트 컬렉션 제목을 운전 크롤링

주장

  • [X] + Python3

  • [X] 크롬과 주도 된 구성 환경 변수

  • [X] 셀레늄

## 페이지의 연구는
URL 컬렉션 기반으로하는 주제 사 운전 테스트 페이지 https://www.jiakaobaodian.com/mnks/exercise/0-car-kemu4-huaibei.html?id=916800 페이지 마지막의 굽이마다 발견 ID 값이 업데이트됩니다

따라서, 기본 함수는 다음과 같이 쓸 수있다
python # 1到15题 if __name__ == '__main__': for i in range(0, 15): getJkbd((i * 100 + 909800))

getJkbd()내 자신의 정의의 함수이다 페이지가 특정 작업입니다

## 기록 getJkbd 함수

동적 바느질 URL
python url = 'https://www.jiakaobaodian.com/mnks/exercise/0-car-kemu4-huaibei.html?id=' + str(num)

열기 브라우저는 요청을

browser = webdriver.Chrome()
browser.get(url)

제목이 밖으로로드 될 때까지 대기에 기능을 추가, 이것은 동적 페이지입니다

wait = WebDriverWait(browser, 10)
wait.until(EC.presence_of_element_located((By.ID, 'ComQuestionDetail_qundefined')))

구문 분석 및 추출 페이지는 콘솔에 인쇄

timu = browser.find_element_by_class_name('timu-text')
xpath = '/html/body/div[@class=\'container mnks-exercise\']/div[@class=\'layout-article\']/div[@class=\'container news-page\']/div[@class=\'frame-l-r\']/div[@class=\'left\']/div[@class=\'com-mnks-question-detail\']/div[@id=\'ComQuestionDetail_qundefined\']/div[@class=\'answer-w clearfix\']/div[@class=\'options-w left\']'
daan = browser.find_element_by_xpath(xpath)
print(timu.text)

print(daan.text)
browser.delete_all_cookies()
browser.close()

추천

출처www.cnblogs.com/zhangqiuchi/p/12158752.html