Prompt Tuning、Prefix Tuning和P - Tuning的区别
- 概念方面：
- Prompt Tuning：在输入序列前添加可训练的额外Token以适配下游任务，预训练语言模型参数不变。比如在文本分类中，在句子前加特定Token如“(OPINION)”，让模型理解是对观点进行分类的任务。
- Prefix Tuning：在每层Transformer结构输入前都添加一组可训练的Token，使模型每层处理输入时都考虑这些额外信息。例如在机器翻译任务中，在每层输入前加“(TRANSLATION)”相关的可训练Token，让模型更好地进行翻译任务。
- P - Tuning：Prompt Tuning的变体，在特定位置插入可训练的Token，早期版本位置不固定，后来的P - Tuning v2在每层也加入了Prompt tokens。如在命名实体识别任务中，在文本中实体可能出现的位置附近插入可训练Token来引导模型识别实体。
- 操作方式方面<
教程 | Excel文档自动批量AI文档生成实战，中级开篇)
)
