排序
让机器更懂你 3.5 AI的Claude Anthropic
01概述在这个科技飞速发展的时代,人工智能,AI,正以前所未有的速度融入我们的日常生活,最近,AnthropicAI公司推出了一项革命性的创新&,mdash,&,mdash,Claude3.5模型,它不仅能够理解......
最后一公里 关于AI落地 这里有30条前沿洞察
&,ldquo,2024年是大模型应用场景元年,中国完全可以走出一条具有中国特色的大模型发展之路,&,rdquo,周鸿祎的预测还言犹在耳,经历了&,ldquo,百模大战&,rdquo,......
Llama提速500%!谷歌美女程序员手搓矩阵乘法内核
谷歌的美女程序员,将Llama的推理速度提高了500%!近日,天才程序员JustineTunney发推表示自己更新了Llamafile的代码,她重写了84个新的矩阵乘法内核,使得Llamafile可以更快地读取提示和图像,与llama.cp......
YOLO11问世!重新定义AI的可能性!
Ultralytics在YOLOVision2024活动上宣布发布其新的计算机视觉模型YOLO11,速度更快、更准确,模型已于今日开源,Homepage,https,www.ultralytics.comzhyoloGithub......
RAG 增强问答文本检索的排序 你学会了吗 模型
引言,文本检索在信息检索系统中的重要性文本检索是信息检索系统的核心组成部分,它在搜索引擎、问答系统和推荐系统等多种应用中发挥着至关重要的作用,随着技术的发展,文本检索已经从简单的关键词匹配演变为利用复杂的算法理解和匹配文本的语义,特别是在问......
Rejection 高效 Best Speculative
一、背景本文中我们简单介绍一个新的BestofN速度优化的论文,其提出了SpeculativeRejection,投机拒绝,,虽然也是用于LLM推理生成加速,但是和SpeculativeDecoding,投机采样,场景、方案都很不一样,对于......
Dify 打造轻量级金融数据库 用 和 Notion
大家好,我是橙哥!今天我们来看一下如何用Dify和Notion打造一个轻量级金融数据库,首先我从服务器的MySQL数据库向Notion同步了今天的量化策略选股结果数据,同步后的Notion表格数据如下所示,下面我们来看一下如何将Notion......
planning终篇 Agent 打造更聪明的智能体!
今天我们从另外一个角度对规划能力进行总结,明天开始我们会分享关于Memory相关的内容,当我们谈论LLM支撑的Agent时,规划模块,PlanningModule,是它们智能行为的核心,想象一下,如果你要完成一项复杂的任务,比如组织一场大型......
种优化 等 的最新工作 和 KV PyramidInfer Cache 6 LLM MiniCache
一、背景在LLM推理中,常常会采用KVCache来缓存之前Token的中间结果,以显著减少重复计算,从而降低自回归生成中的延迟,然而,KVCache的大小与序列长度成正比,在处理长序列时会面临极大的挑战,尤其当前许多模型开始支持几百K甚至几......
2 2万亿token碾压Llama 革命新架构掀翻Transformer!无限上下文处理
继Mamba之后,又一敢于挑战Transformer的架构诞生了!来自Meta、南加州大学,USC,、CMU和UCSD的研究人员提出了全新的神经网络架构&,mdash,&,mdash,Megalodon,巨齿鲨,......