FRONT, Fine-Grained Grounded Citations归因

FRONT归因，首先从检索到的源文档中选择支持性引用，然后基于这些引用指导生成过程，确保生成回答有据可依，引用准确无误。

FRONT的特色在于两阶段归因训练，要点如下: 

阶段一：基于依据的引导生成

教导模型首先从源文档中提取支持性引用，每个引用与其文档标识符相关联。这些提取的引用随后用于归因答案的生成。

直接从源文档提取引用，减少了不相关信息的引入和幻觉风险。每个标识符提供了明确的监督信号，有助于后续的偏好调优训练。

阶段二：一致性感知对齐

一致性感知对齐的目的是增强基于依据的过程和生成过程的一致性。采用偏好学习的方法，将一致答案和不一致答案，在相同基准依据引用的指导下进行对齐

使用较小LLM如7B模型在少样本学习prompt设置下生成低质量、不一致答案作为负样本，并使用偏好优化(DPO)进行偏好对齐。

reference

----

Learning Fine-Grained Grounded Citations for Attributed Large Language Models

https://aclanthology.org/2024.findings-acl.838.pdf

Fine-grained-Attribution

https://github.com/LuckyyySTA/Fine-grained-Attribution