Multi
嘿，大家好！这里是一个专注于AI智能体的频道！今天来聊聊一篇挺有意思的论文，被langchain官方点名，很多评论推荐的文章！MultiMetaRAG，ImprovingRAGforMultiHopQueriesusingDatabaseF......
RouterLLM 混合模型 LLM 推理成本的新思路 HybridLLM 等优化
一、背景本文中我们继续介绍一种LLM推理优化相关的工作，通过路由的方式组合多个模型；其与投机采样类似，通过多个不同规模和性能的模型组合来降本增效，然而又有本质的区别，投机采样在一个Query内会反复调用大小模型，而路由方式在调用之前已经确定......
Cache PagedAttention LLM 优化 计算和 等 vAttention KV 推理的 Attention
一、背景最近，SGLang引起了广泛关注，出现了许多&，ldquo，SGLang吊打vLLM和TRTLLM&，rdquo，的言论，不得不说，SGLang确实是一项非常出色的工作，与此同时，vLLM的性能问题和TR......
Agent数量越多 大语言模型效果越好 数量即力量！腾讯揭秘
来自腾讯的研究者们做了一个关于agent的scalingproperty，可拓展性，的工作，发现，通过简单的采样投票，大语言模型，LLM，的性能，会随着实例化agent数量的增加而增强，其第一次在广泛的场景下验证了该现象的普遍性，与其他复杂......
种优化 等 的最新工作 和 KV PyramidInfer Cache 6 LLM MiniCache
一、背景在LLM推理中，常常会采用KVCache来缓存之前Token的中间结果，以显著减少重复计算，从而降低自回归生成中的延迟，然而，KVCache的大小与序列长度成正比，在处理长序列时会面临极大的挑战，尤其当前许多模型开始支持几百K甚至几......
MoE 为什么最新的LLM使用混合专家 架构
本文详细介绍了混合专家，MoE，架构，该架构通过混合或融合不同的&，ldquo，专家&，rdquo，模型共同解决特定的问题，专业化的必要性医院有很多具有不同专长的专家和医生，他们擅长解决各自领域内的医疗难题，外科......
2024 ICML
本文作者李宏康，美国伦斯勒理工大学电气、计算机与系统工程系在读博士生，本科毕业于中国科学技术大学，研究方向包括深度学习理论，大语言模型理论，统计机器学习等等，目前已在ICLRICMLNeurips等AI顶会发表多篇论文，上下文学习，inco......
LLM超长上下文查询
在大型语言模型，LLM，的应用中，有几个场景需要以结构化的方式呈现数据，其中信息提取和查询分析是两个典型的例子，我们最近通过更新的文档和一个专门的代码仓库强调了信息提取的重要性，对于查询分析，我们同样更新了相关文档，在这些场景中，数据字段可......
LLM原生开发路线图指南
译者朱先忠审校重楼引言大型语言模型，LLM，正在迅速成为现代人工智能的基石，然而，目前还没有出现公认的最佳实践，而且先驱们往往没有明确的开发路线图，因此，这种状况急需要有人重新发明有关轮子；否则，将会使人陷入困境，在过去的两年里，我帮助一些......
开发arXiv论文引擎机器人程序 基于RAG＋LangChain＋Chainlit＋ChromaDB
本文将完整细致地介绍如何使用RAG技术与LangChain、ChainlitCopilot组件以及LiteralAI可观测性特征联合开发一款语义论文搜索引擎程序，简介在本文中，我将演示如何使用检索增强生成，RAG，技术构建语义研究论文引擎，......