RouterLLM 混合模型 LLM 推理成本的新思路 HybridLLM 等优化

RouterLLM 混合模型 LLM 推理成本的新思路 HybridLLM 等优化

一、背景本文中我们继续介绍一种LLM推理优化相关的工作,通过路由的方式组合多个模型;其与投机采样类似,通过多个不同规模和性能的模型组合来降本增效,然而又有本质的区别,投机采样在一个Query内会反复调用大小模型,而路由方式在调用之前已经确定......
admigg 11-15
433 415 243