大型语言模型（LLMs）在自然语言处理（NLP）领域促进了重大进展，但它们也面临着诸如幻觉和需要特定领域知识等挑战。为了缓解这些问题，最近的一些方法将从外部资源检索到的信息与LLMs相结合，显著提高了它们在NLP任务中的表现，但是缺乏对检索增强型语言模型（RALM）全面概述。
因此，对包括检索增强生成（RAG）和检索增强理解（RAU），提供了对它们的范式、演变、分类和应用的深入、全面综述。
图1：RALM研究总体概述
一、RALM是什么？
顺序单次交互：检索器找到与输入最相关的文档，然后语言模型接收这些文档和输入，产生输出。
顺序多次交互：在长对话生成和解决多跳问题时，可能需要在语言模型和检索器之间进行多次交互。
并行交互：检索器和语言模型独立工作，输出通过加权插值确定。
图2：检索器与语言模型交互的三种不同方式
图3：三种交互类型的路线图。紫色区域代表顺序交互 RALM 模型的工作，红色框表示顺序多次交互 RALM 模型的工作，黄色区域指示并行交互RALM模型的工作。
二、检索器（Retriever）
检索增强语言模型（RALM）中检索器（Retriever）的作用和分类：
稀疏检索（Sparse Retrieval）：依赖于简单的术语匹配，如TF-IDF和BM25算法，适用于基于知识的检索任务。
密集检索（Dense Retrieval）：使用深度学习技术，通过双编码器架构生成密集的嵌入向量，以提高检索的准确性。
互联网检索（Internet Retrieval）：利用互联网搜索技术，允许非专业人士使用RALM，适合开放领域和泛化。
混合检索（Hybrid Retrieval）：结合不同检索技术的优势，以提高RALM架构的有效性和鲁棒性。
RALM工作中检索器的总结
三、语言模型（Language Model, LM）
检索增强语言模型（RALM）中语言模型（Language Model, LM）的作用和分类：
自编码器语言模型（AutoEncoder Language Model）：这类模型通过无监督学习来捕捉输入文本的关键特征，常用于理解任务。
自回归语言模型（AutoRegressive Language Model）：这些模型旨在预测下一个词，基于前面的词，适用于生成任务，如对话生成和机器翻译。
编码器-解码器语言模型（Encoder-Decoder Language Model）：这类模型使用编码器-解码器架构来处理文本，适用于需要同时理解源文本和生成目标文本的任务。
RALM方法中的语言模型总结
四、增强组件（RALM Enhancement ）
如何通过增强组件来提升检索增强语言模型（RALM）的输出质量？
RALM增强方法的分类
五、数据源（Data Sources）
检索增强语言模型（RALM）中使用的常见数据源，并根据数据的结构化程度对它们进行了分类：
六、应用（Applications）
检索增强语言模型（RALM）在自然语言处理（NLP）中的各种应用：
RALM应用的分类
七、评估方法与基准（Evaluation）
检索增强语言模型（RALM）的评估方法和基准：
RALM中评估方法的总结
八、局限性与未来展望（Evaluation）
检索增强语言模型（RALM）目前面临的一些限制：
当前RALM模型的局限性和未来展望的总结
RAG and RAU: A Survey on Retrieval-Augmented Language Model in Natural Language Processing
本文转载自，作者：