Meta开源了Llama3.1系列模型，最大参数规模为405B，开源也是好起来了，榜单指标直逼GPT4-o。
开源追上闭源模型不再是梦！Llama系列模型确实是开源界的头部，真金白银砸出来的就是不一样。
不过现在大家也都知道，榜单效果和真实使用效果也不是完全正比的，后面看看对lmsys战榜单，还有大家的实测效果吧！
HF:
Llama3.1系列模型细节
Llama3.1系列模型效果
Llama3.1系列的8B和70B模型的效果，普遍好于Llama3系列模型。尤其是Instruct模型提升较高，特别是通用、代码、数学和工具使用四个方面，大幅提高；额外添加的合成数据，应该是关键。
模型使用
Llama3-405B模型整体结构没有变化，所有直接transformers走起。
import transformersimport torchmodel_id = "meta-llama/Meta-Llama-3.1-8B-Instruct"pipeline = transformers.pipeline("text-generation",model=model_id,model_kwargs={"torch_dtype": torch.bfloat16},device_map="auto",)messages = [{"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},{"role": "user", "content": "Who are you?"},]outputs = pipeline(messages,max_new_tokens=256,)print(outputs[0]["generated_text"][-1])
当然为了加速或者节省显存，也可以vllm、ollama、llamacpp等框架来加载量化模型，这里就不详细介绍了。
写在最后
不过405B模型太大了，部署成本太高了，即使效果很棒，但有多少企业有资格玩一把呢？
个人玩家就更不用说了，光模型大小就820G，别说有没有显卡，也许都没有820G磁盘空间下载都没资格，太难了！
不过后面各大平台（阿里、百度、SiliconFlow）应该会有调用API，到时候体验效果也不费事儿。
又有新工作可做了，应该很快会有Chinese-Llama-3.1工作出来，没资源的小伙伴，等就完事儿了。
最后，Qwen系列是不是也要加把劲了，都给我卷起来！
本文转载自，作者：
© 版权声明