Factural Correctness

Factural Correctness是事实正确性是评价LLM生成的反馈和reference的事实正确性。该指标用于确定生成的响应与参考文献的一致程度。Factural Correctness取值在0到1之间，越接近于1结果越好。
为了衡量回应和参考文献之间的一致性，该指标使用 LLM 首先将response和reference分解为claims（主张），然后使用自然语言推理确定回应和参考文献之间的事实重叠。
● TP（True Positive）：Response中的Claims在reference中存在的个数。
● FP（False Positive）：Response中Claims不在reference中存在的个数。
● FN（False Negative）：Reference中Claims不在Response中的个数。
通过上面的定义，计算Precison、Recall、F1，通过mode参数来控制，默认是F1。

from ragas.dataset_schema import SingleTurnSample
from ragas.metrics._factual_correctness import FactualCorrectness
from langchain_ollama import ChatOllama
from ollama_wrapper import OllamaLLMWrapper
import asyncio
async def main():modle = "llama3.1:8b"llm = ChatOlla