计算量和 MoE LLM 聊一聊 参数量 MFU 等 HunYuan

计算量和 MoE LLM 聊一聊 参数量 MFU 等 HunYuan

一、背景最近在看腾讯最新混元大模型的Paper时,[2411.02265]HunyuanLarge,AnOpenSourceMoEModelwith52BillionActivatedParametersbyTencent[1],,看到了如......
admigg 11-14
864 125 531