企业宣传,产品推广,广告招商,广告投放联系seowdb

一文读懂GraphRAG大模型知识图谱

大模型知识图谱是指将大型语言模型(LLM)与知识图谱技术相结合的一种技术手段,旨在利用知识图谱的结构化知识来增强大模型在自然语言处理任务中的表现。知识图谱通过将信息表示为实体(节点)和关系(边)的网络,模仿了人类结构知识的组成方式,不仅能捕获原始信息,还能捕获跨越多个文档的高阶关系,并具备强大的推理能力。

GraphRAG是一种利用知识图谱增强检索增强生成的技术。它通过以下几个步骤来提升大模型的性能:

很多技术厂商都曾认为,大语言模型的到来会给“知识图谱”技术带来“替代性”的威胁,毕竟二者都是 服务于知识,服务于文本 。当和一些做AI方面技术公司洽谈项目时,对方一听到我们还在用“知识图谱”这样的技术,竟无意间表现出一丝轻蔑。认为 AIGC时代 ,大模型可以做任何事,不再需要任何“过时”的AI技术了。

这种反应并不奇怪,因为大模型在出现以来,一直被宣传得很“热闹”。人们在热情的驱动下,总是容易 高估新技术 的能力。

有时候,客户在不完全了解的情况下,也会如此。有了一些新需求,动不动就直接给建议,“这东西大模型应该可以做,一点也不难,马上部署一套吧”。

其实,从本质上来看,大模型和其他任何AI模型没有任何值得区别对待的,所有的AI技术模型都是 “平等”的关系 。不同技术有 不同的技术特点 ,适用于不同的业务场景,“数字化转型”也不会厚此薄彼。知识图谱技术和大模型技术虽然都面向知识服务,但是定位完全不同。

知识图谱是用符号表示知识, 内容严谨、结构化强,能够对复杂的数据关联进行记录,适合于推理类任务。

大模型是用向量表示知识, 语义信息丰富,支持高效检索和各类数据格式的输入和生成,适合交互类任务。

大模型技术能够更好地理解用户需求,帮助用户完成数据分析结论的总结生成,但是这种 “端到端”的技术策略 ,并不符合“透明化”的数据服务运营理念。仅依靠大模型本身获得业务结论,对于用户来说风险太大了。“里面是个黑盒,如果答案不是我想要的,我就不用了”。这也是大模型相关的技术产品为什么 留存率低 的问题。

用户对大模型的评价过于随机,换个场景,换个提问方式,效果可能立刻就会大打折扣。模型即服务,这是所有从事大模型技术创新者都希望实现的理念。希望交付的模型本身就可以直接拿来应对各式各样的问题。

这种“大一统”的技术愿景,仍然任重道远。每个行业,每个业务条线的底层 运行逻辑 和专业性要求都不一样。

我们需要为不同的业务需求各自搭建知识框架以及对应的知识库,如果是知识图谱这种用“明文”表示的结构,则更加利于管理和维护,让更多业务人员参与到知识管理与加工的 数字化的进程 中。知识图谱可以更好地对业务对象和业务过程进行表示,整个业务推理的过程是 “透明化” “可控的”

如果AI结果非预期,也可以通过知识图谱的记录以及查询策略的修改,来有针对性地改进,这符合一个面向数据治理的完整 PDCA闭环 逻辑。

当前主流的AI产业落地思想是:大模型与知识图谱以及和其他传统AI技术框架的关系,应该是柔性协同的关系,而非完全替代的关系。

大模型负责从 用户侧解析需求 ,对需求进行分发和路由,在具体的AI处理节点上,还是移交给特定的Agent来处理:比如针对图数据库的查询和推理,甚至基于传统的回归模型或决策树的预测。

这样做一方面充分利用了企业现有的知识和技术资源,同时,也降低了大模型技术的 构建和应用门槛 (须认识到,大模型本质是个半成品,无法直接解决业务问题)。

同时,大模型也负责把来自 各Agent 的数据结论进行重新编排和总结输出。 “分而治之”的思想 永远是不过时的,一个复杂的任务得以分解成多个AI单元进行操作,而大模型只需要完成它自身的技术使命。

微软提出的GraphRAG项目备受关注。该项目的主要目的是通过改进信息检索和整理的方式,提升企业知识库的实用性和响应速度。

GraphRAG的核心理念在于提前整理和构建知识图谱,并将信息关联起来,以便于快速回答具体或宏观的问题。 传统上,RAG(Retrieval-Augmented Answer Generation)方法在处理具体问题时表现良好,能够直接在知识库中检索出包含答案的段落,并进行融合生成回答。然而,对于宏观问题,如团队成就调查,RAG的效率和准确性则较差。这些问题要求获取散落在不同文档中的信息,并整合为连贯的答案。

GraphRAG 的工作原理是从索引文档中创建一个知识图谱,这些文档也被称为非结构化数据,例如网页。因此,当 GraphRAG 创建知识图谱时,它实际上是在创建一个“结构化”的表示,表示各种“实体”(如人、地点、概念和事物)之间的关系,使得机器就更容易理解这些关系。

GraphRAG 方法使用 LLM 在两个阶段构建基于图谱的文本索引:首先从源文档中推导出实体知识图谱,基于实体群体间的相关程度,创建称之为“社区”的一般主题(高层次)和更细化的主题(低层次);然后,LLM 会对社区中的每一个主题进行总结,形成一个“数据的分层摘要”。回答问题时,则使用每个社区摘要(Community summary)生成部分回应,之后将所有部分回应再次总结为最终的用户回应。这样,聊天机器人就能够更多地基于知识(即社区摘要)来回答问题,而不是依赖嵌入。

与 RAG 系统类似,整个 GraphRAG 管道可以分为两个核心功能组件:索引和查询。索引过程使用 LLM 来提取节点(如实体)、边(如关系)和协变量(如声明)。然后,它使用社区检测技术对整个知识图谱进行分区,并使用 LLM 进一步形成摘要。对于特定查询,它可以汇总所有相关的社区摘要以生成全局答案。

GraphRAG的主要优势在于其能够提供更准确、上下文相关且全面的答案,尤其在处理复杂信息和大型数据集上的问答和主题发现能力方面表现突出。与传统的仅基于向量的RAG方法相比,GraphRAG能够显著提高AI在这些领域的性能。此外,GraphRAG在连接分散信息、增强上下文理解和减少错误信息(幻觉)方面也展现出了其独特的优势。通过这种方式,GraphRAG不仅提升了大模型的可解释性,还增强了其在特定领域的应用能力。

GraphRAG通过构建知识图谱,将企业知识库中的相关信息进行分类和关联,形成层次结构。这种结构使得回答问题时,可以依据信息的相关性和层次性快速定位答案。同时,GraphRAG还引入了社区挖掘算法,进一步优化信息关联和聚合的过程。尽管GraphRAG具有显著的潜力,但其实际应用仍面临挑战。

首先是知识图谱的构建,这一过程需要大量的人工干预以去除噪声和进行校正。其次是计算资源的消耗,特别是在处理大型知识图谱时,计算复杂度较高。最后,新数据的加入需要频繁更新知识图谱,这可能要求从零开始构建整个图谱,带来额外的计算负担。

综上所述,GraphRAG提供了一种将传统RAG与现代知识图谱相结合的新路径,有望大幅提升企业知识库的实用性和响应效率。尽管面临一些技术挑战,但该项目的潜力不容忽视。

原文链接:​ ​​ ​

© 版权声明
评论 抢沙发
加载中~
每日一言
不怕万人阻挡,只怕自己投降
Not afraid of people blocking, I'm afraid their surrender