哈工大讯飞联合实验室(HFL);MiniRBT

目录

哈工大讯飞联合实验室(HFL)

1.简介

2.模型下载

3.快速加载

3.1使用Huggingface-Transformers

3.2模型对比

3.3蒸馏设置

3.4中文基线系统效果

4.预训练

4.1环境准备

4.2数据准备

4.3运行训练脚本

4.4 使用建议


哈工大讯飞联合实验室(HFL)

在自然语言处理领域中,预训练语言模型(Pre-trained Language Models)已成为非常重要的基础技术。为了进一步促进中文信息处理的研究发展,哈工大讯飞联合实验室(HFL)基于自主研发的知识蒸馏工具TextBrewer,结合了全词掩码(Whole Word Masking)技术和知识蒸馏(Knowledge Distillation)技术推出中文小型预训练模型

猜你喜欢

转载自blog.csdn.net/qq_38998213/article/details/143578450