一、背景
- IDE：spyder
- 使用 selenium + webdriver 爬取ajax数据
- 脚本里有for循环（一万次）
- 每次循环爬取一条数据（约几十 ~ 几百B的大小）
- 每次循环存进一条数据
二、解决方法（打开资源管理器观察）
- 在循环中定时关闭webdriver：driver.quit()，浏览器窗口关闭后再重开，webdriver占用的cpu和内存能被释放。
- 然后发现开了spyder后，会有一个python进程，这个进程占用的内存也会不断飙升，所以就关了spyder，直接用cmd+R打开命令框，然后用python指令直接运行py文件
- 问题解决啦。
- 仅供参考。