为解决AI生成文本知识过时、内容泛化没有针对性的问题,让AI真正变成专属于自己的生产力工具,需要配合自己的知识库,使用RAG(检索增强生成)技术,结合语言模型和信息检索。RAG的底层原理是将查询和文档向量化,通过向量检索匹配相关文档,再用大模型整合检索结果生成回答,结合检索的准确性与生成的灵活性,解决大模型知识过时、幻觉等问题。
一、基本原理
1.为什么要将文档向量化?
将文字向量化存储,本质是为 RAG 系统构建一个 “可计算的语义空间”:通过数学化的文本表示,实现语义检索、高效存储与生成模型的协同。这一步骤如同为知识库建立 “数字地图”,使 AI 能快速定位相关信息并生成准确回答,是 RAG 区别于传统检索系统的核心技术特征。
2.如何将文档向量化?
先用NLP预处理文档(分词、去停用词等),再用向量化模型(如BERT、OpenAI Embedding)将文本转为语义向量,向量维度通常为768/1536维,最后存入向量数据库(如Milvus、Chroma),通过余弦相似度等度量语义相关性。
二、操作实践
我使用的是Openwebui配合bge-large-zh-v1.5文档向量化模型,将文档转化为AI可以使用的知识库。
安装openwebui的步骤跳过。安装好使用管理员账户登录后,首先点击右上角转到管理员设置页面,点击文档。
在界面中设置语义向量引擎地址,和语义向量模型。非必要本地搭建,可以选择使用豆包的doubao-embedding模型。
配置好后,点击页面左上角的工作空间-知识库。
创建一个知识库,并设置权限(如果个人使用,全部设置为公开即可)
创建好后,点击右上角的加号,添加文本,支持txt,doc等多种文件格式,建议首选txt格式。
模型会开始向量化工作,耐心等待完成即可。
完成后,点击左上角的模型。点击右上角的加号,添加模型。
设置模型名称、模型id、基础模型,模型可见性,在知识库里选择刚创建好的知识库。
点击最下边的保存并创建。
最后,点击新对话,你就可以在模型列表中看到你新创建的模型了。
三、使用效果
经过测试,使用添加了知识库的模型时,模型会先检索知识库,再根据知识库的问题,进行作答。不再是使用通用的泛化的答案,而是根据知识库中准确的,具体的答案进行作答。同时还会标注出处。
评论