本章定位在进入任何代码之前先把 RAGAS 的世界观讲清楚。我们会依次回答三个问题——RAGAS 到底是什么、它为什么能无参考地评估 LLM 应用、以及它的核心抽象与指标地图长什么样。读完本章你应当能在白板上画出 RAGAS 的数据流并指出每个指标属于检索侧还是生成侧。2.1 什么是 RAGAS以及它解决什么问题RAGASRetrieval Augmented Generation Assessment是一个开源的 Python 评估框架专门用来系统化地衡量RAG检索增强生成与广义 LLM 应用的质量。官方仓库目前位于vibrantlabsai/ragas由早期的explodinggradients/ragas组织迁移/重命名而来并非分叉项目采用 Apache-2.0 许可最新稳定版为v0.4.3PyPI 发布。事实与观点区分上面关于官方仓库归属与最新版本号是可通过 GitHub/PyPI 验证的事实下面关于RAGAS 是否必要则属于方法论观点欢迎你在团队内讨论。为什么需要它一个典型的 RAG 应用由检索和生成两段拼成质量风险也分布在两段检索段可能召回不相关、不完整、或夹杂噪声的上下文生成段可能幻觉出上下文里没有的内容或答非所问。传统做法靠人工抽样看输出既慢又不可规模化。RAGAS 的核心价值在于把这个 RAG 系统好不好变成一个可重复、可量化、可回归对比的数值问题——你改了切分策略、换了 Embedding、调了 prompt都能用同一套指标看分数是否变好。2.2 核心思想reference-free无参考评估RAGAS 最被广泛引用的创新是reference-free无参考评估范式参见论文RAGAS: Automated Evaluation of Retrieval Augmented GenerationEs et al., 2023arXiv:2309.15217。所谓无参考是指多数核心指标不需要人工标注的标准答案reference / ground truth。它借助一个充当裁判的 LLMLLM-as-a-judge只基于三元组(question, contexts, answer)就能对答案的忠实度、相关性等打分。这让评估可以零标注启动——你只要有提问 系统产出的上下文 系统产出的回答即可规模化——批量跑几千条样本成本远低于人工评审可回归——每次系统变更后重跑得到可比的分数曲线。注意reference-free 是默认多数指标不需要参考并非所有指标都不要参考。部分指标如某些基于 Rubrics 或带标准答案的评估仍可选填参考。判断一个指标是否需要参考看它的输入要求即可。2.3 RAGAS 的数据流与核心抽象理解 RAGAS先记住这条主干数据流你的 RAG/LLM 应用 │ 产出 (question, contexts, answer) 等样本 ▼ Dataset / Sample ──► Metric LLM / Embedding 组件 ──► 分数 判断依据对应的核心抽象分三层1) 样本与数据集Dataset / SampleSample单条评估样本。最常见的SingleTurnSample单轮问答与MultiTurnSample多轮对话。一条样本承载user_input、response、retrieved_contexts、可选的reference等字段。Dataset / EvaluationDataset样本的集合供指标批量打分。版本说明v0.4.x 重要当前 v0.4 存在两套数据集 API不要强行统一——EvaluationDataset来自ragas.dataset_schema配合 legacyevaluate()工作流Dataset来自from ragas import Dataset配合新一代experiment实验追踪工作流。二者是不同 API 层的不同类下文在用到时会有明确归属标注。2) 指标Metric每个指标是一个可独立调用的评分单元。v0.4 推荐collections 类式 APIfromragas.metrics.collectionsimportFaithfulness scorerFaithfulness(llmllm)# 注入裁判模型resultscorer.score(# 同步打分user_input...,response...,retrieved_contexts[...])print(result.value,result.reason)# MetricResult 含 .value 与 .reason返回的MetricResult除分数value外还携带判断依据如reason便于人工抽检为什么扣的分。3) 模型组件LLM / Embedding指标内部的裁判与语义相似度依赖两个可插拔组件LLM多数生成侧/忠实度类指标用它当裁判Embedding检索侧类指标如 Context Recall用它算语义覆盖。在 v0.4推荐用llm_factory注入模型例如fromopenaiimportOpenAIfromragas.llmsimportllm_factory llmllm_factory(gpt-4o-mini,clientOpenAI())2.4 指标全景图按系统位置划分RAGAS 的指标可以清晰地按它在评估系统的哪一段来归类。下面给出一张地图后续第 4 章会逐一拆解。检索侧Retrieval衡量召回的上下文本身的质量Context Precision排序靠前的上下文是否更相关越大越好。Context Recall回答问题所需的事实是否都被召回越大越好。Context Entities Recall关键实体是否被召回。Noise Sensitivity / 噪声敏感度混入无关上下文时系统是否被带偏。Response Relevancy回答是否紧扣问题亦常用于检索侧校验。ContextUtilization上下文利用率回答实际用到了多少召回内容。生成侧Generation衡量基于上下文生成答案的质量Faithfulness忠实度答案是否只说上下文里有的事抑制幻觉核心指标。Answer Relevancy答案相关性答案是否切题。厂商/扩展指标Nvidia 指标族Answer Accuracy、Context Relevance、Response Groundedness。Agent 指标族Tool Call Accuracy、Tool Call F1、Agent Goal Accuracy、Topic Adherence。多模态指标族Multimodal Faithfulness、Multimodal Relevance注v0.4.3 多模态指标尚未迁移至collections类式 API使用时请参照对应文档与版本说明。非 LLM 指标BLEU、ROUGE、Exact Match、SQL 类指标。通用/自定义Aspect Critic按指定维度批评、Rubrics按评分量规打分。2.5 版本与 API 状态速览v0.4.3为避免你在第 3–11 章踩坑这里先给一份以安装版本为准的速查。RAGAS 在 v0.4 处于 API 演进期不同文档对同一接口的弃用/移除表述并不完全一致evaluate()legacy在 v0.4.3 会触发DeprecationWarning官方文档对何时移除表述不一指标文档曾写 v1.0迁移指南写未来版本。实践建议以你实际安装的版本为准先实测再下结论。ragas.metrics小写单例如ragas.metrics.faithfulness官方明确计划在v1.0 移除请勿在新代码中依赖。experiment装饰器属推荐的新一代实验工作流但其在 v0.4.3 的具体可用性请先实测确认。推荐路线新代码优先用collections 类式 APIfrom ragas.metrics.collections import X并显式注入llm/embeddings。一句话原则文档会说计划移除但只有你机器上的版本说了算。任何涉及版本的行为先pip show ragas看版本再小样实测。2.6 本章小结RAGAS 是评估 RAG/LLM 应用的开源框架当前官方仓库为vibrantlabsai/ragas最新稳定版 v0.4.3。它的杀手锏是reference-free评估靠 LLM-as-a-judge基于(question, contexts, answer)打分多数核心指标无需人工标注。主干抽象是Sample / Dataset → Metric(LLM/Embedding) → 分数依据。指标按系统位置分检索侧与生成侧并有 Agent / 多模态 / 非 LLM / 通用等扩展族。v0.4 处于 API 演进期优先 collections 类式 API弃用接口以实测为准。动手检查点在你的环境执行pip show ragas确认版本号。打开vibrantlabsai/ragas仓库 README对照本章指标全景图勾出你当前最关心的 3 个指标——它们就是你后续选型与实操的出发点。前篇你的 RAG 为什么总在「一本正经地胡说」1/11
一张图看懂 RAGAS：核心概念与 7 大指标（2/11）
本章定位在进入任何代码之前先把 RAGAS 的世界观讲清楚。我们会依次回答三个问题——RAGAS 到底是什么、它为什么能无参考地评估 LLM 应用、以及它的核心抽象与指标地图长什么样。读完本章你应当能在白板上画出 RAGAS 的数据流并指出每个指标属于检索侧还是生成侧。2.1 什么是 RAGAS以及它解决什么问题RAGASRetrieval Augmented Generation Assessment是一个开源的 Python 评估框架专门用来系统化地衡量RAG检索增强生成与广义 LLM 应用的质量。官方仓库目前位于vibrantlabsai/ragas由早期的explodinggradients/ragas组织迁移/重命名而来并非分叉项目采用 Apache-2.0 许可最新稳定版为v0.4.3PyPI 发布。事实与观点区分上面关于官方仓库归属与最新版本号是可通过 GitHub/PyPI 验证的事实下面关于RAGAS 是否必要则属于方法论观点欢迎你在团队内讨论。为什么需要它一个典型的 RAG 应用由检索和生成两段拼成质量风险也分布在两段检索段可能召回不相关、不完整、或夹杂噪声的上下文生成段可能幻觉出上下文里没有的内容或答非所问。传统做法靠人工抽样看输出既慢又不可规模化。RAGAS 的核心价值在于把这个 RAG 系统好不好变成一个可重复、可量化、可回归对比的数值问题——你改了切分策略、换了 Embedding、调了 prompt都能用同一套指标看分数是否变好。2.2 核心思想reference-free无参考评估RAGAS 最被广泛引用的创新是reference-free无参考评估范式参见论文RAGAS: Automated Evaluation of Retrieval Augmented GenerationEs et al., 2023arXiv:2309.15217。所谓无参考是指多数核心指标不需要人工标注的标准答案reference / ground truth。它借助一个充当裁判的 LLMLLM-as-a-judge只基于三元组(question, contexts, answer)就能对答案的忠实度、相关性等打分。这让评估可以零标注启动——你只要有提问 系统产出的上下文 系统产出的回答即可规模化——批量跑几千条样本成本远低于人工评审可回归——每次系统变更后重跑得到可比的分数曲线。注意reference-free 是默认多数指标不需要参考并非所有指标都不要参考。部分指标如某些基于 Rubrics 或带标准答案的评估仍可选填参考。判断一个指标是否需要参考看它的输入要求即可。2.3 RAGAS 的数据流与核心抽象理解 RAGAS先记住这条主干数据流你的 RAG/LLM 应用 │ 产出 (question, contexts, answer) 等样本 ▼ Dataset / Sample ──► Metric LLM / Embedding 组件 ──► 分数 判断依据对应的核心抽象分三层1) 样本与数据集Dataset / SampleSample单条评估样本。最常见的SingleTurnSample单轮问答与MultiTurnSample多轮对话。一条样本承载user_input、response、retrieved_contexts、可选的reference等字段。Dataset / EvaluationDataset样本的集合供指标批量打分。版本说明v0.4.x 重要当前 v0.4 存在两套数据集 API不要强行统一——EvaluationDataset来自ragas.dataset_schema配合 legacyevaluate()工作流Dataset来自from ragas import Dataset配合新一代experiment实验追踪工作流。二者是不同 API 层的不同类下文在用到时会有明确归属标注。2) 指标Metric每个指标是一个可独立调用的评分单元。v0.4 推荐collections 类式 APIfromragas.metrics.collectionsimportFaithfulness scorerFaithfulness(llmllm)# 注入裁判模型resultscorer.score(# 同步打分user_input...,response...,retrieved_contexts[...])print(result.value,result.reason)# MetricResult 含 .value 与 .reason返回的MetricResult除分数value外还携带判断依据如reason便于人工抽检为什么扣的分。3) 模型组件LLM / Embedding指标内部的裁判与语义相似度依赖两个可插拔组件LLM多数生成侧/忠实度类指标用它当裁判Embedding检索侧类指标如 Context Recall用它算语义覆盖。在 v0.4推荐用llm_factory注入模型例如fromopenaiimportOpenAIfromragas.llmsimportllm_factory llmllm_factory(gpt-4o-mini,clientOpenAI())2.4 指标全景图按系统位置划分RAGAS 的指标可以清晰地按它在评估系统的哪一段来归类。下面给出一张地图后续第 4 章会逐一拆解。检索侧Retrieval衡量召回的上下文本身的质量Context Precision排序靠前的上下文是否更相关越大越好。Context Recall回答问题所需的事实是否都被召回越大越好。Context Entities Recall关键实体是否被召回。Noise Sensitivity / 噪声敏感度混入无关上下文时系统是否被带偏。Response Relevancy回答是否紧扣问题亦常用于检索侧校验。ContextUtilization上下文利用率回答实际用到了多少召回内容。生成侧Generation衡量基于上下文生成答案的质量Faithfulness忠实度答案是否只说上下文里有的事抑制幻觉核心指标。Answer Relevancy答案相关性答案是否切题。厂商/扩展指标Nvidia 指标族Answer Accuracy、Context Relevance、Response Groundedness。Agent 指标族Tool Call Accuracy、Tool Call F1、Agent Goal Accuracy、Topic Adherence。多模态指标族Multimodal Faithfulness、Multimodal Relevance注v0.4.3 多模态指标尚未迁移至collections类式 API使用时请参照对应文档与版本说明。非 LLM 指标BLEU、ROUGE、Exact Match、SQL 类指标。通用/自定义Aspect Critic按指定维度批评、Rubrics按评分量规打分。2.5 版本与 API 状态速览v0.4.3为避免你在第 3–11 章踩坑这里先给一份以安装版本为准的速查。RAGAS 在 v0.4 处于 API 演进期不同文档对同一接口的弃用/移除表述并不完全一致evaluate()legacy在 v0.4.3 会触发DeprecationWarning官方文档对何时移除表述不一指标文档曾写 v1.0迁移指南写未来版本。实践建议以你实际安装的版本为准先实测再下结论。ragas.metrics小写单例如ragas.metrics.faithfulness官方明确计划在v1.0 移除请勿在新代码中依赖。experiment装饰器属推荐的新一代实验工作流但其在 v0.4.3 的具体可用性请先实测确认。推荐路线新代码优先用collections 类式 APIfrom ragas.metrics.collections import X并显式注入llm/embeddings。一句话原则文档会说计划移除但只有你机器上的版本说了算。任何涉及版本的行为先pip show ragas看版本再小样实测。2.6 本章小结RAGAS 是评估 RAG/LLM 应用的开源框架当前官方仓库为vibrantlabsai/ragas最新稳定版 v0.4.3。它的杀手锏是reference-free评估靠 LLM-as-a-judge基于(question, contexts, answer)打分多数核心指标无需人工标注。主干抽象是Sample / Dataset → Metric(LLM/Embedding) → 分数依据。指标按系统位置分检索侧与生成侧并有 Agent / 多模态 / 非 LLM / 通用等扩展族。v0.4 处于 API 演进期优先 collections 类式 API弃用接口以实测为准。动手检查点在你的环境执行pip show ragas确认版本号。打开vibrantlabsai/ragas仓库 README对照本章指标全景图勾出你当前最关心的 3 个指标——它们就是你后续选型与实操的出发点。前篇你的 RAG 为什么总在「一本正经地胡说」1/11
