一、为什么要微调？

二、微调的 10 种主流方式

✅ 1. 全参数微调（Full Fine-tuning）

✅ 2. 冻结部分层微调（Partial Fine-tuning）

✅ 3. 参数高效微调（PEFT）

🔸 3.1 LoRA（Low-Rank Adaptation）

🔸 3.2 Adapter

🔸 3.3 Prompt Tuning / Prefix Tuning

✅ 4. 微调分类头（Head-only Fine-tuning）

✅ 5. 增量式微调（Continual Fine-tuning）

✅ 6. 多任务微调（Multi-task Fine-tuning）

✅ 7. 领域自适应微调（Domain Adaptive）

✅ 8. 混合微调（Hybrid Fine-tuning）

✅ 9. BitFit 微调（只调 bias）

✅ 10. 检索增强微调（Retrieval-augmented Fine-tuning）

三、对比总览

四、选型建议

五、各种微调方式的应用领域分析

六、应用最广的几种微调方式

✅ 1. 参数高效微调（PEFT）

✅ 2. 全参数微调

✅ 3. 领域自适应微调

七、结语

在大模型时代，预训练模型为我们提供了强大的基础能力，而微调（Fine-tuning）则让这些“通用大脑”更懂你的业务。本篇博客将系统梳理十种主流微调方式，覆盖从最常用的全量微调到高阶的参数高效策略，为你的项目选型和落地提供实用指南。

一、为什么要微调？

预训练模型如 BERT、GPT、Qwen 等，虽然具备强大通用能力，但在特定任务（如法律问答、情感分析、智能客服）中仍需**“再教育”**，这就是微调。

它的本质是：在原始模型的基础上，针对任务或领域进行再训练，以提升性能、适应性与实用性。

二、微调的 10 种主流方式

✅ 1. 全参数微调（Full Fine-tuning）

🔹 方式：更新模型中所有参数。
🔹 优点：效果最佳，模型彻底适应任务。
🔹 缺点：训练成本高，计算资源大。

📌 适合场景：大数据 + 强算力，例如企业内部 NLP 引擎升级。

✅ 2. 冻结部分层微调（Partial Fine-tuning）

🔹 方式：冻结部分层（如前几层），只更新后几层或任务头部。
🔹 优点：节省资源，训练更快。
🔹 缺点：适应能力有限。

📌 适合场景：中小模型、迁移学习任务，如情感分类或命名实体识别。

✅ 3. 参数高效微调（PEFT）

PEFT 是当前火热的大模型调优方式，只引入少量新参数，保留原模型参数不变，代表方法包括：

🔸 3.1 LoRA（Low-Rank Adaptation）

插入低秩矩阵，更新量极小但效果好。
✅ QLoRA 等大模型方案广泛应用。

🔸 3.2 Adapter

每层插入小模块，只训练 Adapter 部分。

🔸 3.3 Prompt Tuning / Prefix Tuning

添加可训练的提示向量，不改变主模型。

📌 适合场景：部署大模型（如千亿参数）、多个任务共享主模型。

✅ 4. 微调分类头（Head-only Fine-tuning）

🔹 方式：只训练输出层（如分类器）。
🔹 优点：最快最省资源。
🔹 缺点：适应性较弱，模型理解力有限。

📌 适合场景：快速实验、小数据任务、特征提取后分类。

✅ 5. 增量式微调（Continual Fine-tuning）

🔹 方式：在已有模型基础上不断引入新数据微调。
🔹 挑战：防止“灾难性遗忘”。

📌 适合场景：在线学习、用户定制化模型、长周期服务。

✅ 6. 多任务微调（Multi-task Fine-tuning）

🔹 方式：一个模型同时处理多个任务（如问答 + 摘要 + 翻译）。
🔹 优势：任务间共享知识，提升泛化能力。

📌 适合场景：多功能机器人、AI助手、All-in-One 模型。

✅ 7. 领域自适应微调（Domain Adaptive）

🔹 方式：先用目标领域文本（无标签）进行“预微调”，再做任务微调。
🔹 两阶段：

在领域语料上继续 MLM（Masked Language Modeling）；
做具体任务微调。

📌 适合场景：医疗、法律、金融等专业场景。

✅ 8. 混合微调（Hybrid Fine-tuning）

🔹 方式：组合多个微调策略（如 LoRA + Prefix + Adapter）。
🔹 优势：性能和效率兼顾。

📌 适合场景：高性能定制需求，多个策略测试阶段。

✅ 9. BitFit 微调（只调 bias）

🔹 方式：只训练偏置项（bias），其余参数全部冻结。
🔹 特点：极度轻量，常被用于极限对比实验。

📌 适合场景：极端算力限制或快速实验场景。

✅ 10. 检索增强微调（Retrieval-augmented Fine-tuning）

🔹 方式：结合知识库检索与生成模型训练，如在 RAG 框架中对生成器和检索器联合优化。
🔹 优势：兼顾知识准确性与生成能力。

📌 适合场景：知识问答、多轮对话、文档生成。

三、对比总览

微调方式	参数量	成本	适应性	推荐场景
全参数微调	⭐⭐⭐⭐	💰💰💰💰	✅✅✅✅	自有数据+算力，追求极致效果
部分层微调	⭐⭐	💰💰	✅✅	中小模型迁移学习
PEFT（LoRA等）	⭐	💰	✅✅✅	大模型高效调优
分类头微调	⭐	💰	✅	快速实验、小样本分类
增量微调	⭐⭐	💰💰	✅✅✅	在线学习、长期服务
多任务微调	⭐⭐⭐	💰💰💰	✅✅✅	多功能场景
领域自适应	⭐⭐	💰💰	✅✅✅✅	医疗/法律/金融
混合微调	⭐⭐	💰💰	✅✅✅✅	高性能定制
BitFit	⭐	💰	✅	极限轻量测试
检索增强微调	⭐⭐⭐	💰💰💰	✅✅✅✅	知识问答、RAG系统

四、选型建议

你的情况	建议微调方式
🧪 只有少量标注数据	分类头微调 / Adapter
💻 资源有限但想用大模型	LoRA / Prefix Tuning
🏥 行业数据专业术语多	领域适应 + 全微调
🧩 多个任务同时执行	多任务微调
🤖 长期更新 + 新数据接入	增量式微调
📚 知识库问答/文档生成	RAG + 检索增强微调

你是...	推荐微调方式
中小企业开发专属AI助手	LoRA + Head 微调（高效又实用）
医疗/法律/金融产品开发者	领域自适应 + 任务微调
想发布自己的中文大模型	全参数微调（包含二阶段预训练）
算力有限的个人开发者	LoRA / Prefix Tuning / BitFit
想构建对话+搜索系统	RAG + 检索增强微调

五、各种微调方式的应用领域分析

微调方式	应用领域	实际案例或说明
1. 全参数微调	📚 法律/医疗/金融领域的高精度NLP任务🔬 自定义大型语言模型	- 法律文书生成（如 LexLM）- 医疗问答系统（如 MedGPT）- 企业内部大模型定制化
2. 部分层微调	✉️ 文本分类、情感分析🔖 多语言模型的快速适配	- 微博情绪分类、客服对话意图识别- 英文模型迁移到中文
3. 参数高效微调（PEFT）↪ LoRA / Adapter / Prompt Tuning	🌐 大语言模型领域（LLM）最广泛应用！🧠 多任务推理/对话系统📦 云端部署模型调优	- ChatGPT、Qwen 等 API 使用场景- 多租户模型（每个客户加载自己的 LoRA）- 国内项目如 Baichuan、Yi 等均支持 LoRA
4. 微调分类头	📄 小型文本分类任务🏷 关键词打标、评论情绪分类	- 新闻分类、用户评论评分预测- 结构化信息抽取的最后一层
5. 增量式微调（Continual）	📈 模型长期演进更新🧑‍💼 企业定制化语料补充	- 企业私有模型每月更新新语料- 用户对话个性化微调
6. 多任务微调	🤖 多功能 AI 助手 / 智能客服🧾 问答+翻译+摘要等任务整合	- 办公助手类产品（如阿里通义千问）- 教育场景中阅读理解+写作指导
7. 领域自适应微调	⚖️ 医疗、法律、金融、工业等专业领域	- 法律助手预训练 + 问答任务微调- 医疗模型如 BioBERT、PubMedBERT
8. 混合微调	🏗 高复杂度系统（如私有部署LLM）🔬 精调实验研究	- 企业内部研发结合 LoRA + Adapter- 提升极端任务下模型表现
9. BitFit	🧪 学术研究 / 快速验证场景	- 与 LoRA 对比研究用- 实验 bias-only 微调策略
10. 检索增强微调（RAG）	📚 知识问答系统🔎 多轮对话问答 + 实时检索	- ChatLaw、ChatMed 等法律/医学 RAG 系统- 文档问答机器人