Python 抓取动态网页 新法

Python 抓取动态网页 一般使用 Selenium 或者 dryscrape,但安装比较复杂,依赖库较多。

这里介绍使用 Win32exts for Python 抓取动态网页。首先项目地址:

            https://github.com/tankaishuai/win32exts_for_Python

确保安装 32位版本的Python (2.x 或 3.x 均可), 选择 32位的 win32exts.pyd 库放于 /DLLs 目录下。

仅有此一个文件即可。

抓取 QQ主页的示例代码如下:

#
# 抓取动态网页示例
#
url = "http://www.qq.com"

import win32exts
win32exts.load_sym("*", "*")

pText = win32exts.SysTextByBrowser(win32exts.L(url), 10, 3, None)
strText = "err"
if pText != 0:
    strText = win32exts.read_wstring(pText, 0, -1)
    win32exts.free(pText)
print (strText)

默认使用Trident渲染引擎,同时也支持 Webkit / Blink 渲染引擎。

原创文章 17 获赞 7 访问量 4663

猜你喜欢

转载自blog.csdn.net/tan_kaishuai/article/details/99701760