事先声明：我构建了 代理原型 及其语料库工具链，这正是本指南所使用的。其中的命令是真实且可验证的；前半部分提到的问题是每个检索增强生成（RAG）设置都会遇到的。欢迎指正——请提交问题报告。
这类建议随处可见，听起来也很全面：将你的知识提供给智能体——只需对你的文档文件夹执行检索增强生成（RAG）即可。于是，你将检索器指向 docs/ 目录，对文本块进行嵌入处理，并将其连接起来。智能体开始回答关于你系统的问题。
随后，你问它一些关键问题，它给出了一段流畅且自信的回答——但你完全不知道这是否属实，因为你无从知晓信息的来源。这是来自当前的操作手册，还是你在 2024 年放弃的设计文档？那个重试次数是真实的，还是来自某个过时的自述文件（README）中的文本块，仅仅因为余弦相似度高而被选中？你无法分辨。智能体也无法分辨。
这表明你拥有的并不是一个知识库。你拥有的是一个针对一堆文档建立的搜索索引，这是完全不同且薄弱得多的东西。
如果你记不住其他内容，请记住这一个核心观点：
一堆文档文件夹并不等于知识库。使其成为知识库的关键在于出处（provenance）——即每个事实都知道其来源，以便智能体可以引用，你也可以进行核查。
文档堆砌无法做到的两件事
由于两个结构性原因，Markdown 文档文件夹作为知识库是失败的，而且无论使用多么先进的嵌入技术都无法修复这两个问题。
它检索的是散文，而非事实。 文档是一堵由同时涉及许多内容的句子组成的墙。将其分块后，你得到的是任意的切片——例如，关于重试机制的半段段落被拼接到关于日志记录的段落开头。智能体只能接近答案，并自行重构剩余部分，这正是产生“自信但错误”回答的根源。知识的单位应当是一个主张（claim），而不是一个 512 个令牌（token）的窗口。
它忘记了所有信息的来源。 一旦文本块被嵌入，它就只是一个浮动的字符串。没有线索回溯到“这来自 runbooks/payments.md，最后更新于四月的事件期间”。因此，智能体无法引用，更糟糕的是，你也无法审计。一个无法审计的知识库是一个不可信的知识库，这意味着当它第一次自信地给出错误答案时，它就成了一种负担。
这两个问题有相同的解决方案，而且不是使用更花哨的检索器。解决方案是一个流水线（pipeline）：在任何查询发生之前，将源材料转化为原子的、有出处的主张。正是这种流水线区分了语料库与普通文件夹。
你的“知识库”实际上是由什么构成的？
在构建之前，请先审视自己。给出四个诚实的答案。
一无所有。 智能体依靠预训练数据和任何你粘贴的内容运行。默认情况下是通用的。上限：它永远无法知道任何尚未公开的信息。
文档文件夹 + 检索增强生成（RAG）。 你通过相似度检索文本块。这比什么都没有要好，但这正是本文要讨论的陷阱：没有出处，没有去重，没有“主张”的概念——它基于无法命名的来源进行回答。上限：自信、不可验证，且在文档过时的那一天立即失效。
手动策划的维基（Wiki）。 真实、由人工维护，通常质量不错——但它是为人阅读而写的，而不是为了让智能体逐个主张地进行查询，而且在无人编辑的间隔期内它会变得过时。上限：高质量，低可查询性，需要人工维护。
经过提炼且有出处的语料库。 导入的来源包含
免责声明：本文内容来自互联网，该文观点不代表本站观点。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，请到页面底部单击反馈，一经查实，本站将立刻删除。
