wikiextractor包链接地址：GitHub - attardi/wikiextractor: A tool for extracting plain text from Wikipedia dumps
安装wikiextractor: pip install wikiextractor
然后下载wiki语料库，下载地址: Index of /zhwiki/latest/
我下载的是：zhwiki-latest-pages-articles.xml.bz2
然后使用下面命令：
python -m wikiextractor.WikiExtractor -b 1024M -o /home/work/ljs/wiki/wiki_data /home/work/wiki/zhwiki-latest-pages-articles.xml.bz2
-b 1024M 其中1024M是指单个文件允许的最大的占用硬盘的大小
/home/work/ljs/wiki/wiki_data 指输出数据存放文件夹
/home/work/wiki/zhwiki-latest-pages-articles.xml.bz2 指原始语料存放文件夹
然后就开始提取wiki数据了，如果上述命令执行错误，应该是环境有问题，请检查环境，还有尽量使用ubuntu系统，否则可能出错哦。
运行过程中：