大型语言模型(LLMs)在多种任务中表现出色,但存在诸如幻觉(hallucinations)、时间错位(temporal misalignments)、上下文处理问题和微调效率低下等挑战。为了解决这些问题,研究人员通过检索增强型生成(RAG)方法,将外部知识源与LLMs结合,显著提高了复杂问题的准确回答能力。传统的RAG架构包括检索模块和阅读模块,但存在 检索质量低下 和 生成不可靠答案 的问题。
ERAGent(Enhanced RAG Agent) 框架提出了几个关键改进:
ERAGent整体框架
RAGent通过这些模块的协同操作,提供了一个先进的原型,以确保在实际场景中应用的便捷性和有效性。
通过在 六个数据集 和 三类问答任务 ( 单轮、单轮多跳、多会话多轮问答 )上的严格评估,ERAGent在 准确性、效率和个性化方面表现出色 ,强调了其推进RAG领域和实际系统应用的潜力。
单轮开放领域问答任务中回答准确性的评估指标
单轮多跳问答任务中回答准确性的评估指标
两个人工智能助手: 没有用户画像的ERAGent (助手A)和 有用户画像的ERAGent (助手B)对一个用户提出的问题“给我一个增肌的饮食建议”的回答。用户画像是从历史对话会话中总结出来的。评价: 助手B的回答更贴近用户的画像 ,通过特别解决用户的环保问题、饮食限制(避免牛肉和牛奶),以及个人偏好(对机器学习和环保的兴趣,以及是夜猫子)。
在 多会话多轮问答(MSMTQA:Multi-Session Multi-Round QA) 数据集上,助手B和助手A的回答在所有类别中的成对比较结果
响应效率和质量指标与相似性阈值 τ 的关系
Enhancing Retrieval-Augmented Language Models with Improved Accuracy, Efficiency, a