哈工大讯飞联合实验室（HFL）；MiniRBT

目录

哈工大讯飞联合实验室（HFL）

1.简介

2.模型下载

3.快速加载

3.1使用Huggingface-Transformers

3.2模型对比

3.3蒸馏设置

3.4中文基线系统效果

4.预训练

4.1环境准备

4.2数据准备

4.3运行训练脚本

4.4 使用建议

---

哈工大讯飞联合实验室（HFL）

在自然语言处理领域中，预训练语言模型（Pre-trained Language Models）已成为非常重要的基础技术。为了进一步促进中文信息处理的研究发展，哈工大讯飞联合实验室（HFL）基于自主研发的知识蒸馏工具TextBrewer，结合了全词掩码（Whole Word Masking）技术和知识蒸馏（Knowledge Distillation）技术推出中文小型预训练模型