transformers库下载安装

基本含义:

transformers 库是一个功能强大且多样化的工具,能够加载和微调预训练模型,适用于各种 NLP 任务,还可以扩展到计算机视觉和音频领域。它大大简化了深度学习模型的使用和开发过程,使研究人员和工程师能够快速实现从模型加载到微调和部署的一整套流程。

一般 Transformer 模型有三个部分组成:

  1. tokennizer
  2. Model
  3. Post processing

我们可以看到三个部分的具体作用:Tokenizer 就是把输入的文本做切分,然后变成向量,Model 负责根据输入的变量提取语义信息,输出 logits;最后 Post Processing 根据模型输出的语义信息,执行具体的 NLP 任务,比如情感分析,文本自动打标签等;可见 Model 是其中的核心部分,Model 又可以分为三种模型,针对不同的 NLP 任务,需要选取不同的模型类型:Encoder 模型(如 Bert,常用于句子分类、命名实体识别(以及更普遍的单词分类)和抽取式问答。),Decoder 模型(如 GPT,GPT2,常用于文本生成),以及 sequence2sequence 模型(如 BART,常用于摘要,翻译,生成性问答等)。
 

 第一部分:安装

conda install -c conda-forge transformers

第二部分:查看版本

python -c "import  transformers; print( transformers.__version__)"

第三部分:卸载

conda remove  transformers

猜你喜欢

转载自blog.csdn.net/weixin_74009895/article/details/143261886