win10, python3.6.5, selenium3.141.0, chrome 83.0.4103.61
说明:
参考了很多帖子寻找线索,谢谢各位。
现象:
访问wenku页面,看返回内容时,中文显示有问题(字符串格式显示,gbk各种编码错误;字节格式显示时,\x8e类代替汉字),储存到文件时有问题(中文显示不正常)。
(学习用。后续再多次访问时,会按照人工访问的时间间隔访问)
办法:
概括: 显示时,用 io 更改输出设定;
写入文件时,用bytes 格式写入文件(再电脑文本类软件打开时中文显示正常)。以字符串格式写入文件,暂没办法搞定中文。
参考:
from selenium import webdriver
import time
import sys
import io
#更改系统显示设置
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf-8')
#测试网页
url='https://wk.baidu.com/view/0caacb1e964bcf84b9d57be8?pcf=2'
#尝试增加表头(未完成)
options=webdriver.ChromeOptions()
options.add_argument('User-Agent="Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Mobile Safari/537.36" ')
driver1=webdriver.Chrome(options=options)
#访问网页
driver1.get(url)
#返回内容
pagesource=driver1.page_source
#显示内容
print('pagesource:', pagesource, flush=True)
#存入文件
with open('pagesource.txt', 'wb') as f:
f.write(pagesource.encode('utf8'))