AI 技术#RAG#知识库#排查清单

知识库答非所问?先检查这四个环节

从原始文档到最终回答,分别检查解析、切分、检索与引用,让模糊的效果问题变成可以定位的具体问题。

「知识库不好用」是一种感受,却还不是一个可以动手处理的问题。更有效的做法,是挑出一个具体的错误回答,沿着它经过的环节往回检查。

以下清单是一种排查思路,需要用你自己的文档、问题与正确答案验证。

一、原始内容有没有被正确读出

先找到应该支撑回答的那一页,检查处理后的文本。表格是否还保留行列关系?页眉是否混入正文?图片里的文字有没有被遗漏?

如果原始材料已经出现错误,后面再调整检索参数也无法补回丢失的信息。保留原文件、处理后文本与页码之间的映射,会让这一步更容易检查。

二、信息是否在切分时失去上下文

找到相关段落在系统中对应的片段。检查问题所需的条件、例外和定义,是否与主要结论分开了。

例如,文档写着「满足条件 A 时,可以执行 B」,如果一个片段只剩「可以执行 B」,读者就很难区分它的适用范围。

可以尝试按标题或段落组织片段,并保留文档名称、章节路径和更新时间。是否有效,需要通过相同问题的前后对比确认。

三、检索是否找到了正确材料

把最终回答暂时放在一边,只查看检索返回的内容:

  • 正确材料是否在返回列表里?
  • 排名前面的片段与问题是什么关系?
  • 专有名词、编号与简称能否匹配?
  • 是否混入已经失效的旧版本?

先建立一个很小的问题集,并为每个问题标出应该出现的来源。它可以帮助你区别「没有找到材料」与「找到了但没有正确使用」。

四、回答能否回到原文核对

检查回答中的每条关键结论,是否能指向相应的原文。引用存在,不等于引用支持了结论。

当材料不足以回答问题时,系统应该把缺口说清楚。你也可以把回答拆成「已知内容」「无法确认的内容」「需要补充的材料」,再看它是否更方便审核。

记录一次排查

用下面的结构留下记录,后续更新文档或修改参数时,可以重复比较:

问题:
预期答案与依据:
实际检索到的片段:
实际回答:
发现问题的环节:
修改内容:
复查结果:

这份记录的目标是让问题可以重现,而不是证明某一种工具更好。只有把样本、设置和判断口径保持一致,前后结果才有可比性。

✳读到这里,试着向前走一步。
LET'S BUILD SOMETHING

有 AI 项目想法?一起聊聊。

欢迎交流实践、寻找伙伴,或聊聊你的项目需求。

同好交流AI 项目商务合作
微信 fengjl0519 的个人二维码,使用微信扫一扫添加好友
微信扫一扫,添加好友
扫码加微信

聊 AI 实践,
也聊值得一起做的项目。

保存二维码

手机上可保存图片后,在微信中识别。

fengjl0519

添加时请备注「Revo2AI + 来意」。

返回全部文章