Octopus-V2-2B是一个具有20亿参数的先进开源语言模型,代表着Nexa AI在大型语言模型(LLMs)在函数调用方面的研究突破,特别针对AndroidAPI进行了定制。与需要潜在函数参数的详细描述(有时需要多达数万个输入标记)的检索增强生成(RAG)方法不同,Octopus-V2-2B在其训练和推理阶段都引入了独特的功能token策略。这种方法不仅使其能够达到与GPT-4可比较的性能水平,而且还显著提高了其推理速度, 超越了基于RAG的方法,使其在边缘计算设备上尤为有益 。
© 版权声明