1. DR-RAG有多厉害?
上面两个表分别展示了DR-RAG与其他几个当前流行的RAG框架对比的效果,特别是Adaptive RAG。可以看到,在多个测试数据集上,DR-RAG要比其他框架(比如:Adaptive RAG和Self RAG)准确率都要更高。而且在相同TopK参数的前提下,DR-RAG的召回率更高,从而回答正确的比例也越高。
上面这个图展示了DR-RAG与Adaptive RAG对比的一些例子,从例子里可以看出,DR-RAG在一些问题上,比Adaptive RAG回答的更准确。
比如上面这个图里的例子,传统检索器能够轻松地获取高相关性的静态文档(用红色标出),却难以捕获那些虽然相关性不高(用蓝色标出),但对于问题答案至关重要的动态文档。
静态相关文档(Static-Relevant Documents,SRD):对答案生成至关重要且紧密相关的文档。
动态相关文档(Dynamic-Relevant Documents,DRD):相关性不高,但对答案生成同样关键的文档。
对于 “谁是彼得·安德烈亚斯·海伯格孩子的妻子?”这个问题,与“彼得·安德烈亚斯·海伯格”和“孩子/儿子”高度相关的静态相关文档(上图以红色标出)较容易被检索。然而,动态相关文档(以蓝色标出)由于只与查询中的“配偶/妻子”相关,因此难以被检索。
知识库中关于“配偶”的信息可能非常多,导致这些动态相关文档在检索过程中排名较低。在静态和动态相关文档之间,“约翰·路德维格·海伯格”与“妻子”之间的联系非常紧密。如果将查询中的“配偶/妻子”也纳入考虑,便能轻松地检索到动态相关文档,从而得出答案。
2. 什么是DR-RAG?
DR-RAG是指:ynamicelevantetrieval-ugmentedeneration,动态相关检索增强生成。该方法是由理想汽车团队与中山大学、东北大学和四川大学等共同提出的一种新方法。
第一部分的例子,我们看到了DR-RAG擅长回答的问题类型:发现相关性不高,但是对回答问题很重要的文档。之所以DR-RAG如此厉害,是因为DR-RAG采用了一种 两步检索框架 ,用于挖掘查询和文档之间的相关性。
如上图:
• 第一步,根据与查询的高相关度检索静态相关文档(SR-Documents)。
• 第二步, 将这些静态文档与查询结合 ,以检索一系列动态相关文档(DR-Documents)。
• 最终,逐一挑选DR-Documents,将其与查询及静态文档串联,输入分类器,以筛选出最具相关性的动态文档。
遗憾的是,找遍了整篇论文,好像没有找到有关这个分类器如何得到、如何复现的一些细节(也许是我漏掉了)
为了让RAG回答问题更加准确,需要尽可能给出与回答问题最重要的文档;因此,我们必须检索非常多文档,以让模型给出更加全面的回答。
DR-RAG的宗旨是从检索到的文档中筛选出最相关、最重要的文档,并且确保不遗漏LLM回答问题所需的关键信息。而实际上,仅凭相似性匹配(SM)很难一网打尽所有静态和动态相关的文档。
通常,大家会通过推升K值来增加DRD的概率,比如:在MuSiQue系统中,将k值从3增至6,仅将召回率从58%提升至76%,依然有许多相关文档未能被检索。此外,不相关的文档可能会给LLMs带来冗余信息。
所以,DR-RAG实际上是在保持top-k不变的情况下,通过提升基于动态相关性的文档召回率,来改善检索效果。
3. 性能分析
3.1 召回率对LLM的影响
召回率对RAG和LLM至关重要。因为当召回率不高时,模型接触的信息不完整、或者缺失,那么容易产生“幻觉”的模型则难以准确回答问题。在2Wiki数据集中,DR-RAG在仅选择前6个文档时,已经达到了98%的高回忆率。
3.2 冗余信息对LLM的影响
若上下文中的冗余信息得以减少,大型语言模型便能更透彻地理解查询,减少误解。随着输入模型的文档数量增多,无效信息可能激增约三成,但模型在作答时却难以辨识。模型或许会依赖这些冗余信息,给出错误的答案。
在RAG过程中,应尽可能减少向模型提供冗余或不准确的信息。
以2Wiki数据集为例,当提供给模型的文档数量k为4或6时,从CIS(Classifier Inverse Selection)过渡到CFS(Classifier Forward Selection),召回率的提升并不显著,反而在评价指标上有所降低。因此,作者提出了CFS方法,用来平衡信息的冗余度和相关性。
3.3 用更少的文档来提升召回率
CFS策略在降低文档数量的同时提高回忆率。在二次检索过程中,由于所需文档已被检索,为每对查询-文档找到匹配项似乎成了不可能的任务。这导致实际检索到的文档数量可能少于预定的k。以HotpotQA数据集为例,当k设为6,实际上平均只有5.35份文档被提供给LLMs,这在一定程度上减少了无关信息的干扰。
CFS方法在减少实际检索文档数量的同时,与QDC(Query Documents Concatenation)方法相比,实现了更高的回忆率。CFS方法在三大评价指标上均获得了更高的分数,证明了其在减少冗余输入的情况下,相比其他方法具有更卓越的检索性能。
3.4 响应速度优化
相较于以往的RAG框架,DR-RAG在整体流程中实现了更优的时间管理。其他RAG框架在获取答案前可能需多次调用LLMs,造成高昂的计算开销。实际上,优化LLMs的推理时间在实际应用中同样重要。单次调用LLMs就需耗费大量时间,多次调用则在时间成本上构成巨大挑战。
为此,作者设计一个小规模、参数较少的模型,以实现更高效的优化策略,避免频繁调用LLMs。如上表所示,与Adaptive-RAG相比,我们平均减少了74.2%的时间消耗。因此,DR-RAG在实验效率上的提升,以及在时间成本上的优势,使其在实际工程应用中具有重要价值。
• 论文原文: