Python3网络爬虫——环境配置

主要涉及到：

　　Python, MongoDB, Redis, MySQL以及python爬虫常用库的安装；可视化图形界面包括：Robo 3T，Redis, Navicat for MySQL

python:

　　我电脑有python3.5 和3.7两个版本。环境是配置的sublime_text3

　　python需要pip的几种库：

pip3 install lxml

from bs4 import BeautifulSoup
soup = BeautifulSoup("<html></html>","lxml")

　　具体功能参见：https://www.cnblogs.com/zhangxinqi/p/9210211.html#_label6

pip3 install pyquery

from pyquery import PyQuery as pq
doc = pq("<html>Hello</html>")
result = doc("html").text()
result
>>>'Hello'

　　具体功能参见：https://www.cnblogs.com/zhaof/p/6935473.html

pip3 install pymysql

import pymysql
conn = pymysql.connect(host = 'localhost', user = 'root', password = '123456', port = 3306, db = 'cookbook') 
cursor = conn.cursor()
cursor.execute('select * from color')
cursor.fetchall()

　　这个功能就是操作mysql的数据库而存在的第三方库

pip3 install pymongo

import pymongo
client = pymongo.MongoClient('localhost')
db = client['newtestdb']
db['table'].insert({'name':'Bob'})
db['table'].find_one({'name':'Bob'})

pip3 install redis

import redis
r = redis.Redis('localhost', 6379)
r.set('name', 'Bob')
r.get('name')

MongoDB、Redis、MySQL的区别：https://www.cnblogs.com/noah0532/p/10943120.html

pip3 install beautifulsoup4

　　具体功能参见：https://www.cnblogs.com/hanmk/p/8724162.html

pip3 install flask

pip3 install django

　　flask与django功能对比链接：https://www.cnblogs.com/crss/p/8532950.html

pip3 install jupyter

jupyter一个好用的python编辑器

如何打开.ipynb文件？

　　cmd 命令转到.ipynb文件夹下——>输入jupyter notebook 即可跳出网页界面，进行查看。

如何使用Selenium + Chorme?

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
driver = webdriver.Chrome(chrome_options=chrome_options)
driver.get("http://www.badiu.com")
driver.page_source

Python3网络爬虫——环境配置

猜你喜欢