RAG新范式MemLong 用于长文本生成的记忆增强检索
传统的注意力机制由于时间和空间复杂度的二次方增长，以及在生成过程中键值缓存的内存消耗不断增加，限制了模型处理长文本的能力，相关的解决方案包括减少计算复杂度、改进记忆选择和引入检索增强语言建模，检索增强生成，RAG，和MemLong的记忆检索......
ToolGen！ 忘记Tool检索 拥抱全新Agent
传统大模型工具调用的方法依赖于将工具描述作为上下文输入，这受到上下文长度的限制，并需要单独的、通常效率低下的检索机制，之前基于检索的方法与ToolGen之间的比较，以前的方法使用检索器根据相似性匹配检索相关工具，这些工具进一步被放入提示中供......
UC RAFT 对不相关的RAG检索结果进行建模 Berkeley
大家好，我是HxShine，今天推荐一篇UCBerkeley的一篇RAG效果优化的文章～大模型引入新的知识一般有两个途径，一种是RAG检索增强，一种是SFT，哪种方式效果比较好呢，或者说有没有一些其他的更为有效的方式呢，这篇论文介绍了一种新......
清华大学揭露RAG的双面性 全面分析揭示大模型中RAG噪声的作用
引言，RAG技术与大型语言模型中的噪声问题在大型语言模型，LLMs，的研究与应用中，噪声问题一直是一个不容忽视的挑战，这些模型在处理复杂的语言理解和生成任务时，往往需要从海量的数据中提取有用信息，然而，互联网上充斥着各种非标准的噪声信息，如......
卡内基梅隆大学最新RAG综述 15种典型RAG框架
1.引言1.1检索增强生成，RAG，概览图片RAG，RetrievalAugmentedGeneration，融合了两大核心组件，i，检索模块，负责从外部知识库中检索相关文档或信息，利用密集向量表示从大型数据集，如维基百科或私有数据库中识别......