今天突然发现腾讯开源混元大模型,十分震惊,腾讯也来挤开源赛道了,只能说大模型开源越来越繁华了。
这次开源的主要是MoE模型, 有Base模型和Instruct模型,总参数量389B,激活参数52B,支持最大上下文256K。
Github:https://arxiv.org/pdf/2411.02265HF:<p>由于时间关系,还没仔细的阅读paper,扫了一眼指标,不知道为啥没跟Qwen2.5-72B比较,但是我单独看了几个榜单,是要好一些的。</p><p>Base模型</p><p>Instruct模型</p><p>由于本人<strong>没有16张H800</strong>,但又像测试一下腾讯新开源的Hunyuan-Large,因此<strong>在官方提供huggingface spaces上进行的测试</strong>。</p><pre tabindex="0"><code><p>说明:理解了意图,但是输出结果不正确,没有将所有字母反过来。</p><p>说明:结果正确。</p><p>说明:结果错误,感觉还是tokenizer的问题,但很奇怪为啥没单独优化一下。</p><p>说明:结果正确</p><p>说明:熟蚝。。。。。。。</p><p>说明:稀水。。。。。。。。</p><p>说明:没理解,小红是女生,字母说呢,合理也不合理,反正我觉得小红是女生。</p><p>说明:结果正确</p><p>说明:按照我的推理是对的,但是不应该按照事实知识回答嘛。</p><p>就是测试了一下,感觉没有其他人说的那么强。不过也是现在开源最大的MoE模型了吧。</p><p>本文转载自,作者:</p></code></pre>Github:https://arxiv.org/pdf/2411.02265HF:<p> 由于时间关系,还没仔细的阅读paper,扫了一眼指标,不知道为啥没跟Qwen2.5-72B比较,但是我单独看了几个榜单,是要好一些的。 </p> <p> Base模型 </p> <p> Instruct模型 </p> <p> 由于本人 <strong> 没有16张H800 </strong> ,但又像测试一下腾讯新开源的Hunyuan-Large,因此 <strong> 在官方提供huggingface spaces上进行的测试 </strong> 。 </p> <pre tabindex="0"><code> <p> 说明:理解了意图,但是输出结果不正确,没有将所有字母反过来。 </p> <p> 说明:结果正确。 </p> <p> 说明:结果错误,感觉还是tokenizer的问题,但很奇怪为啥没单独优化一下。 </p> <p> 说明:结果正确 </p> <p> 说明:熟蚝。。。。。。。 </p> <p> 说明:稀水。。。。。。。。 </p> <p> 说明:没理解,小红是女生,字母说呢,合理也不合理,反正我觉得小红是女生。 </p> <p> 说明:结果正确 </p> <p> 说明:按照我的推理是对的,但是不应该按照事实知识回答嘛。 </p> <p> 就是测试了一下,感觉没有其他人说的那么强。不过也是现在开源最大的MoE模型了吧。 </p> <p> 本文转载自,作者: </p> </code></pre>Github:https://arxiv.org/pdf/2411.02265HF:
由于时间关系,还没仔细的阅读paper,扫了一眼指标,不知道为啥没跟Qwen2.5-72B比较,但是我单独看了几个榜单,是要好一些的。
Base模型
Instruct模型
由于本人 没有16张H800 ,但又像测试一下腾讯新开源的Hunyuan-Large,因此 在官方提供huggingface spaces上进行的测试 。
<p>说明:理解了意图,但是输出结果不正确,没有将所有字母反过来。</p><p>说明:结果正确。</p><p>说明:结果错误,感觉还是tokenizer的问题,但很奇怪为啥没单独优化一下。</p><p>说明:结果正确</p><p>说明:熟蚝。。。。。。。</p><p>说明:稀水。。。。。。。。</p><p>说明:没理解,小红是女生,字母说呢,合理也不合理,反正我觉得小红是女生。</p><p>说明:结果正确</p><p>说明:按照我的推理是对的,但是不应该按照事实知识回答嘛。</p><p>就是测试了一下,感觉没有其他人说的那么强。不过也是现在开源最大的MoE模型了吧。</p><p>本文转载自,作者:</p><p> 说明:理解了意图,但是输出结果不正确,没有将所有字母反过来。 </p> <p> 说明:结果正确。 </p> <p> 说明:结果错误,感觉还是tokenizer的问题,但很奇怪为啥没单独优化一下。 </p> <p> 说明:结果正确 </p> <p> 说明:熟蚝。。。。。。。 </p> <p> 说明:稀水。。。。。。。。 </p> <p> 说明:没理解,小红是女生,字母说呢,合理也不合理,反正我觉得小红是女生。 </p> <p> 说明:结果正确 </p> <p> 说明:按照我的推理是对的,但是不应该按照事实知识回答嘛。 </p> <p> 就是测试了一下,感觉没有其他人说的那么强。不过也是现在开源最大的MoE模型了吧。 </p> <p> 本文转载自,作者: </p>
说明:理解了意图,但是输出结果不正确,没有将所有字母反过来。
说明:结果正确。
说明:结果错误,感觉还是tokenizer的问题,但很奇怪为啥没单独优化一下。
说明:结果正确
说明:熟蚝。。。。。。。
说明:稀水。。。。。。。。
说明:没理解,小红是女生,字母说呢,合理也不合理,反正我觉得小红是女生。
说明:结果正确
说明:按照我的推理是对的,但是不应该按照事实知识回答嘛。
就是测试了一下,感觉没有其他人说的那么强。不过也是现在开源最大的MoE模型了吧。
本文转载自,作者:
© 版权声明