排序
Rejection 高效 Best Speculative
一、背景本文中我们简单介绍一个新的BestofN速度优化的论文,其提出了SpeculativeRejection,投机拒绝,,虽然也是用于LLM推理生成加速,但是和SpeculativeDecoding,投机采样,场景、方案都很不一样,对于......
Dify 打造轻量级金融数据库 用 和 Notion
大家好,我是橙哥!今天我们来看一下如何用Dify和Notion打造一个轻量级金融数据库,首先我从服务器的MySQL数据库向Notion同步了今天的量化策略选股结果数据,同步后的Notion表格数据如下所示,下面我们来看一下如何将Notion......
planning终篇 Agent 打造更聪明的智能体!
今天我们从另外一个角度对规划能力进行总结,明天开始我们会分享关于Memory相关的内容,当我们谈论LLM支撑的Agent时,规划模块,PlanningModule,是它们智能行为的核心,想象一下,如果你要完成一项复杂的任务,比如组织一场大型......
种优化 等 的最新工作 和 KV PyramidInfer Cache 6 LLM MiniCache
一、背景在LLM推理中,常常会采用KVCache来缓存之前Token的中间结果,以显著减少重复计算,从而降低自回归生成中的延迟,然而,KVCache的大小与序列长度成正比,在处理长序列时会面临极大的挑战,尤其当前许多模型开始支持几百K甚至几......
2 2万亿token碾压Llama 革命新架构掀翻Transformer!无限上下文处理
继Mamba之后,又一敢于挑战Transformer的架构诞生了!来自Meta、南加州大学,USC,、CMU和UCSD的研究人员提出了全新的神经网络架构&,mdash,&,mdash,Megalodon,巨齿鲨,......
一年打怪升级 领域 实践出真知 Agents 的经验分享
编者按,在你构建AIAgents时,是否曾遇到这些困扰,总是在简单任务上出错,从而让你有时会怀疑自己的技术水平,面对客户的需求,AIAgent表现得像个&,ldquo,笨蛋&,rdquo,,无法准确理解和执行指令......
化 5 Query 腐朽 优化技术应对千奇百怪的 RAG 种 神奇 为
编者按,您是否曾经遇到这样的情况,明明构建了一个功能强大的RAG系统,但用户却频繁抱怨&,ldquo,找不到想要的信息&,rdquo,或&,ldquo,返回的结果不够准确&,rdquo......
排序模型一定要尝试的特征交叉技巧 多场景验证有效
今天给大家介绍两篇经典的工作,这两篇工作都是针对推荐系统中排序模型的优化,方法有一些相似之处,都是利用门控网络对底层特征进行交叉,最关键的在于,这类方法已经在很多真实业务场景中被验证效果显著,非常值得还没有应用这类方法的同学进行尝试,1.M......
具身智能成败之关键!干货长文首次全面回顾具身智能领域中的视觉
文章链接,https,arxiv.orgpdf2405.14093亮点直击本综述是关于具身智能领域中新兴的视觉语言动作模型的首次全面回顾,全面回顾,对具身智能领域中涌现的VLA模型进行了全面回顾,涵盖了架构、训练目标和机器人任务等各个方面,......