Python écrit du code de robot d'exploration, quelles bibliothèques sont nécessaires en plus des requêtes et de beautifulsoup4 ? 【Dossier d'apprentissage】

Lorsque Python écrit du code de robot d'exploration, en plus des requêtes et de beautifulsoup4, d'autres bibliothèques peuvent être utilisées. Voici quelques bibliothèques couramment utilisées :

1. Scrapy : Scrapy est un framework de robot d'exploration Python, qui fournit des outils d'exploration puissants et des fonctions de traitement de données pratiques, et peut écrire rapidement des programmes de robot d'exploration efficaces.

2. Selenium : Selenium est un outil de test automatisé qui peut simuler le comportement du navigateur. Pour certains sites Web qui doivent simuler une connexion, un clic et d'autres opérations interactives, Selenium est un outil très utile.

3. PyQuery : PyQuery est une bibliothèque similaire à jQuery, qui peut être utilisée pour manipuler des documents HTML d'une manière similaire aux sélecteurs CSS, ce qui est très pratique.

4. lxml : lxml est une bibliothèque de traitement Python XML qui peut analyser rapidement des documents XML et peut également être utilisée pour analyser des documents HTML.

5. requêtes-html : requêtes-html est une bibliothèque basée sur requêtes et lxml, qui peut facilement analyser les documents HTML et prend en charge le rendu JavaScript et les sélecteurs CSS.

6. pandas : pandas est une bibliothèque de traitement de données Python, qui peut facilement nettoyer, organiser et analyser les données, et est très utile pour le traitement des données dans les programmes d'exploration.

méthode d'installation:

Entrez le nom de la bibliothèque d'installation pip dans le terminal  , tel que :

pip install scrapy

Voici un exemple de code qui importe la bibliothèque ci-dessus :

import scrapy
from selenium import webdriver
from pyquery import PyQuery as pq
from lxml import etree
from requests_html import HTMLSession
import pandas as pd