【大模型基础】参数高效微调简介

企业开发 2025-04-09 22:43:08 阅读次数: 0

大语言模型虽知识丰富，但在垂直领域适配性不足，仅靠提示工程难以解决，需通过微调参数来提升适配性。然而，大语言模型参数量巨大，微调成本高，限制了其在垂直领域的应用。因此，实现效果可靠、成本可控的参数高效微调技术成为关键。

下面探讨主流的参数高效微调技术：参数附加方法、参数选择方法和低秩适配方法的代表性算法实现与优势。

1 、参数高效微调简介

大语言模型在垂直领域适配时，上下文学习和指令微调虽是有效途径但存在不足。为此，参数高效微调（Parameter Efficient Fine Tuning, PEFT）技术出现。

本节先回顾前两者并分析其局限，再介绍PEFT概念及优势，最后分类讲解主流PEFT方法，包括参数附加、选择和低秩适配，阐述其原理和代表性工作。

1.1 下游任务适配

为提高大语言模型在垂直和细分领域的性能，需进行下游任务适配，主流方法有：

上下文学习（In-context learning）
指令微调（Instruction Tuning）

1）上下文学习（In-context learning）

上下文学习通过设计Prompt，将任务转化为生成任务，驱动模型完成任务。

小样本上下文学习（Few-shotin-contextlearning）：

将样本-标签对转化为自然语言指令（Instruction）和样例（Demonstrations），
拼接测试样本输入模型，输出作为预测结果。
该方法无需更新模型参数，可快速应用于多种任务。

上下文学习虽能有效利用大语言模型的能力，但存在明显缺点：

性能与微调有差距，Prompt设计耗费人力且不同设计导致性能差异大，
推理代价随Prompt样例增多而快速上升。

因此，微调大语言模型在许多场景和垂直领域仍有必要。

2）指令微调（Instruction Tuning）

指令微调（Instruction Tuning）通过构建指令数据集并在其上进行监督微调，使模型更好地理解和执行自然语言处理任务指令。其过程如下：

指令数据构建：指令数据包含指令、示例（可选）、问题和回答，构造方式有：
1）数据集成，即将带标签的自然语言数据集通过模板转换为指令格式的<输入，输出>对，如Flan和P3数据集；
2）大语言模型生成，即人工收集少量指令数据后，使用大语言模型进行指令扩展，如InstructWild和Self-Instruct数据集。
监督微调：构建数据集后，采用完全监督的方式对预训练模型进行微调，通过顺序预测输出中的每个token来训练模型，从而显著提升模型的指令遵循能力，增强其推理水平和泛化到新任务、新领域的能力。

指令微调虽能提升大语言模型在下游任务的性能，但监督微调需大量计算资源。如LLaMA2-7B全量微调需近60GB内存，消费级GPU（如RTX4090）无法胜任。因此，在资源受限环境下，研究参数高效微调技术至关重要。

1.2 参数高效微调

参数高效微调（Parameter-Efficient Fine-Tuning，PEFT）旨在避免微调全部参数，减少在微调过程中需要更新的参数数量和计算开销，从而提高微调大语言模型的效率。

图4.2: 高效参数微调方法分类学。

以下是三种参数高效微调方法的精简总结：

参数附加方法（Additional Parameters Methods）：在模型结构中附加较小的可训练模块（如适配器层），冻结原始参数，仅微调新模块，典型方法有适配器微调（Adapter-tuning）、提示微调（Prompt-tuning）、前缀微调（Prefix-tuning）和代理微调（Proxy-tuning）等。
参数选择方法（Parameter Selection Methods）：仅选择模型部分参数微调，冻结其余参数，利用部分参数对下游任务的决定性作用，典型方法包括BitFit、Child-tuning和FishMask等。
低秩适配方法（Low-rank Adaptation Methods）：通过低秩矩阵近似原始权重更新矩阵，冻结原始参数，仅微调低秩更新矩阵，大幅节省内存开销，经典方法有LoRA及其变体如AdaLoRA、DyLoRA和DoRA等。

三种参数高效微调（PEFT）方法：

参数附加方法（Additional Parameters Methods）：在模型结构中附加较小的可训练模块（如适配器层），冻结原始参数，仅微调新模块，典型方法有适配器微调（Adapter-tuning）、提示微调（Prompt-tuning）、前缀微调（Prefix-tuning）和代理微调（Proxy-tuning）等。
参数选择方法（Parameter Selection Methods）：仅选择模型部分参数微调，冻结其余参数，利用部分参数对下游任务的决定性作用，典型方法包括BitFit、Child-tuning和FishMask等。
低秩适配方法（Low-rank Adaptation Methods）：通过低秩矩阵近似原始权重更新矩阵，冻结原始参数，仅微调低秩更新矩阵，大幅节省内存开销，经典方法有LoRA及其变体如AdaLoRA、DyLoRA和DoRA等。

1.3 参数高效微调的优势

参数高效微调（PEFT）有以下优势：

计算效率高：减少需更新参数数量，降低训练时计算资源消耗。
存储效率高：减少微调参数数量，显著降低模型存储空间，适用于内存受限设备。
适应性强：可快速适应不同任务，无需重新训练整个模型，提升模型在变化环境中的灵活性。

表4.1: 全量参数微调和参数高效微调显存占用对比（OOM代表超出内存限制）

模型名	全量参数微调	参数高效微调 (LoRA)
bigscience/T0_3B	47.14GB GPU / 2.96GB CPU	14.4GB GPU / 2.96GB CPU
bigscience/mt0-xxl (12B params)	OOM GPU	56GB GPU / 3GB CPU
bigscience/bloomz-7b1 (7B params)	OOM GPU	32GB GPU / 3.8GB CPU

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】