파이썬 파충류 | 크롤링 히말라야 오디오

"좋은

히말라야는 잘 알려진 전문 오디오 공유 플랫폼으로, 가입자 480 만 오디오의 조각의 수백만의 수백에 이렇게 오디오 소설, 오디오 북, 어린이 취침 시간 이야기, 만화 스케치와의 모음 가장 빠르게 성장하는 최대 규모의 온라인 모바일 오디오 공유가되었다 초과 플랫폼입니다. 히말라야 퀘스트, 실시간 캡처를 진정, 장벽을 무너 뜨리는 오늘 밤 공유하고에 저장합니다!

지식 포인트 :

개발 환경 : 윈도우 pycharm는 JSON을 요청

네트워크 안티 등반 기술
파일 작업
네트워크 요청
데이터 변환
사용의 데이터 유형

모든 가져 오기 요청 라이브러리 1. 먼저

가져 오기 요청

상기에서 얻어진 사전 형식으로 데이터를 변환하는 제 JSON은 JSON (모듈 가져와야)

수입 JSON

4. 헤더 = { "사용자 에이전트": "모질라 / 5.0 (윈도우 NT 10.0; Win64를; 64) AppleWebKit / 537.36 (KHTML, 도마뱀 붙이 등) 크롬 / 75.0.3770.100 사파리 / 537.36"}

이것은 사용자 에이전트를 복사 한 합법적 인 브라우저가 추가로 위장 방지 파충류 메커니즘에 대한 응답입니다 : 모질라 / 5.0 (윈도우 NT 10.0; Win64를; 64) AppleWebKit / 537.36 (게코 같은 KHTML) 크롬 / 75.0.3770.100 콜론의 내용도 인용 부호로 묶어야 할 수있는 반면 사용자 에이전트에 의해 사파리 / 537.36 파이썬, 그것은 사용자 에이전트 따옴표입니다, 인식되지 않으므로 법적 메시지가, 위치 정보를 : 눌러 F12- -> 네트워크> headers-> RequestHeaders-> 사용자 에이전트 : 모질라 / 5.0 ... 그래프 참조

2. URL 링크 액세스를 설정합니다 :

打开喜马拉雅官网->点击“轻音乐”->点击“夜色钢琴曲”->选择一首歌后会出现播放按钮(先不要点此按钮)->按F12->点击Network->点击播放按钮->此时调试窗口会弹出播放请求->点击name下的第一栏album?....->点击右边栏Headers->展开General->复制Request URL下的网址https://www.ximalaya.com/revision/play/album?albumId...即可

url = "https://www.ximalaya.com/revision/play/album?albumId=291718&pageNum=1&sort=1&pageSize=30"

3 将获取的数据赋值给response,打印response

response = requests.get(url).text

print(response)

结果未获取到数据，因为网站做了反爬虫机制，所以要在上面添加header伪装成合法身份

5. 因为上面添加了header变量,所以应该把第3步替换为：

response = requests.get(url,headers = header).text

print(response)

은 "형식 검사"에 바로 입력 상자에 데이터를 붙여 넣 URL http://www.bejson.com/를 열고, 다음 획득 한 데이터를 복사 클릭하고 헤더를 추가 한 후 다시 실행 데이터 (JSON 형식) 원 어떤 파일 형식을 식별하는하며 JSON 형식의 STR, DICT 사전 형, 그들 사이의 차이 : D = { '이름': 'ZS', '성': '사람'} ===> 사전 유형입니다 그리고 S = '{'이름 ':'ZS ','성 ':'사람 '}'===> 문자열 형, JSON 형식의 문자열 인

7. 변환 audio_data을 할당 한 후 (한 공구의 관계는 결정의 한 유형이다 볼 수)

audio_data = json.loads (대응) '데이터'] [ 'tracksAudioPlay']