2021 ACL

• 固定预训练LM，为LM添加可训练，任务特定的前缀
  • 这样就可以为不同任务保存不同的前缀
  • 这种前缀可以看成连续可微的soft prompt，相比于离散的token，更好优化，效果更好
• 训练的时候只需要更新prefix部分的参数，固定LM部分的参数即可

• 对于自回归模型，在句子前面添加前缀，得到 z = [PREFIX; x; y]

• 对于encoder-decoder模型：Encoder和Decoder都增加了前缀，得到 z = [PREFIX; x; PREFIX0; y]
  • Encoder端增加前缀是为了引导输入部分的编码
  • Decoder 端增加前缀是为了引导后续token的生成
• 
  • Prefix-tuning略优于Infix-tuning
    • Infix-tuning形式为 [x; INFIX; y]
    • Prefix-tuning形式为 [PREFIX; x; y]
• 直接学习参数效果不好，需要使用MLP对Pθ进行reparameter修正
  • Pθ[i,:] = MLP(Pθ'[i,:])