目录
一、SFT(Supervised Fine-Tuning,监督微调)
二、LSR(Generalized LM-Supervised Retrieval,广义语言模型监督检索)
模型微调也是提高检索性能
在深度学习领域,特别是自然语言处理(NLP)中,微调是使预训练模型适应特定下游任务的关键步骤。
一、SFT(Supervised Fine-Tuning,监督微调)
SFT是一种在目标数据集上训练基于预训练模型架构和参数的新的目标模型的方法。它分为全参数微调和部分参数微调:
- 全参数微调:涉及对模型的所有权重进行调整