TTokenySpace
返回 Skills 列表

Rag Hallucination Governor

RAG幻觉治理工具。输入RAG系统当前指标/症状/检索日志片段，输出根因诊断+阈值调参建议+治理方案。基于10+生产RAG交付实战经验，不是通用RAG教程。

#中文
下载 ZIP 来源页面
0

安装到 Tokeny（自动）

下载 ZIP
安装"rag-hallucination-governor"技能
技能信息：
- 名称: Rag Hallucination Governor
- 标识: rag-hallucination-governor
- 描述: RAG幻觉治理工具。输入RAG系统当前指标/症状/检索日志片段，输出根因诊断+阈值调参建议+治理方案。基于10+生产RAG交付实战经验，不是通用RAG教程。
- 版本: 1.0.0
下载地址：
https://www.tokeny.space/api/skills/rag-hallucination-governor/download
继续

复制上方内容到 Tokeny 客户端并在会话中发送即可自动安装；也可直接 下载 ZIP并拖动到技能窗口安装。

SKILL.md

rag-hallucination-governor — RAG 幻觉治理

RAG 上了线，客户说"AI 经常胡说"？30 秒出诊断报告。

解决什么问题

交付了 RAG 系统，客户反馈"AI 回答不准确/瞎编"。销售或交付团队需要快速定位：

  • 是检索层问题（召回不够/噪声太大）还是生成层问题（LLM 没用好上下文）
  • 阈值该怎么调
  • 有没有架构层面的硬伤需要重构

核心价值（反模板标准）

✅ 来自实战经验的规则（≥70%）

  • Top-1 污染效应：检索第一名如果是错的，LLM 几乎必然跟错
  • 双命中策略的适用边界：不是所有场景都适合，有检索性能代价
  • 意图路由的三层分类法：事实型/操作型/闲聊型的不同处理路径
  • 低置信度转人工的阈值选择：0.6 还是 0.75？看场景
  • 绝不承诺虚假准确率——"95% 准确率"在 RAG 里是伪命题
  • 知识库质量 > 算法调参——80% 的幻觉源于知识源本身脏乱
  • 混合检索权重不是 50/50——不同行业有完全不同的最优配比

❌ 通用 AI 能力（本 Skill 不做）

  • RAG 架构科普、向量数据库选型对比
  • Embedding 模型评测报告
  • 通用 Prompt Engineering 技巧

使用方式

交互模式（推荐）

rag-hallucination-governor

快速模式

rag-hallucination-governor --symptom "客户说AI经常编造不存在的政策条款" \
  --industry "政务" --hitRate "0.4" --firstHitAccuracy "0.3"

日志分析模式

rag-hallucination-governor --log-file /path/to/retrieval_log.json --top-n 20

输出结构

RAG 幻觉诊断报告（Markdown），5 模块：

模块 1：症状归类

  • 幻觉类型判断：知识缺失型 / 检索噪声型 / 上下文拼接型 / LLM 编造型
  • 严重程度分级：P0（不可用）/ P1（偶发）/ P2（可容忍）

模块 2：根因诊断

  • 检索层诊断：召回率、Top-1 准确率、Top-K 噪声率
  • 知识库诊断：文档碎片化、过期内容、格式噪声
  • LLM 层诊断：上下文窗口利用、指令跟随、温度设置

模块 3：阈值调参建议

  • 相似度阈值（当前 → 建议值 + 理由）
  • Top-K 参数调整
  • 混合检索权重（BM25 vs Vector）
  • 重排序模型是否值得加

模块 4：架构层建议

  • 意图路由是否需要
  • 是否需要双命中策略
  • 低置信度转人工阈值

模块 5：立即可执行的 3 步修复

规则设计原则

  1. Top-1 定生死 — 如果 Top-1 是错的，LLM 有 80%+ 概率跟错。优化 Top-1 准确率比提高 K 更有效
  2. 知识库质量 > 算法调参 — 80% 幻觉的根因是知识源本身：过期、碎片化、格式混乱
  3. 混合检索不是 50/50 — 政务偏向 BM25（70%+），技术文档偏向向量（70%+），零售居中
  4. 低置信 ≠ 低质量 — 0.6-0.7 区间的结果不一定差，要看行业基线
  5. 双命中有代价 — 召回率高了 15-20%，但延迟增加 30-50%，延迟敏感场景慎用
  6. 意图路由分三层：事实型（直接检索）/ 操作型（检索+动作）/ 闲聊型（不检索直接答）

输出模板（结构化格式）

## RAG 幻觉诊断报告

### 1. 症状归类
- 幻觉类型：知识缺失型 / 检索噪声型 / 上下文拼接型 / LLM 编造型
- 严重程度：P0（不可用） / P1（偶发） / P2（可容忍）
- 依据诊断：

### 2. 根因分析
- 检索层：召回率 __% | Top-1 准确率 __% | Top-K 噪声率 __%
- 知识库层：碎片化程度 | 过期比率 | 格式一致性
- LLM 层：上下文利用率 | 指令遵从 | 温度设置

### 3. 调参建议
| 参数 | 当前值 | 建议值 | 理由 |
|------|--------|--------|------|
| 相似度阈值 | |||
| Top-K | |||
| 混合检索权重(BM25:Vector) | |||
| 重排序 | |||

### 4. 架构建议
- 意图路由：需要/不需要（理由）
- 双命中策略：启用/禁用（理由）
- 转人工阈值：建议值 + 场景说明

### 5. 紧急 3 步修复
1. 立即可做：
2. 今日内完成：
3. 本周计划：

边界声明

  1. 不替代知识库治理 — 调参无法解决脏数据，必须先清洗知识源
  2. 不承诺具体指标 — 不输出无法验证的准确率数字（如「95%准确率」）
  3. 不编造日志数据 — 如果用户未提供检索日志，只做症状归类不出根因分析
  4. 不替代人工审核 — 低置信场景转人工是非功能建议，不保证转人工后正确
  5. 不提供通用 RAG 教程 — 只输出针对具体输入的分析，不做 RAG 科普
  6. 不承诺治理效果 — 输出为建议方案，实际效果需复测验证

触发词

当用户提到以下关键词时，应使用本技能：

  • RAG 幻觉 / 胡说 / 乱回答 / 不准确
  • HitRate / 命中率 / 召回率 / Top-1 准确率
  • 检索日志 / 知识库质量
  • 阈值调优 / 调参 / 双命中
  • 转人工 / 低置信度

联用

评论

加载中…