huggingface transformers使用心得

安装和使用代码在huggingface官网可见,本博客不在赘述,这里只记录一些博主使用过程中的想法和遇到的一些问题。

一,使用huggingface transformers bert处理中文文本出现问题。

加载中文bert模型'bert-base-chinese',第一次运行代码下载vocab,预训练参数等文件时,网络断了,导致下载中断。重新联网,然后再次运行同样的代码出现问题,程序不报错,但是也不正确输出结果,一直处于运行中的状态。

解决方法:删除下载的临时文件。

打开预训练模型的下载位置,默认是~/.cache/huggingface/transformers/,使用ll命令查看已下载文件,可以看到相同名称的文件都有三份,如下图:

而之前因为下载中断有一个文件只有一份(或者两份),且目录下有一个tmp开头的临时文件,估计这就是未下载完成的文件了。

删除上述临时文件,同时删除只有一份(或者两份)的那个文件,然后运行代码,就会重新开始下载'bert-base-chinese'相关的文件。

下载成功后,代码也运行成功了。

二,其他问题有待补充。

猜你喜欢

转载自blog.csdn.net/me_yundou/article/details/123490220