作者 | Nathan Lambert
编译 | 岳扬
多模态语言模型领域相比纯语言模型，显得定义更为不明确、未解决的问题更多，同时也有更多空间让人们发挥创意。在语言模型领域，存在一系列明确的任务和行为，那些前沿实验室正试图通过例如 OpenAI o1 这样的创新训练方法，在最为棘手的推理问题上取得突破。然而，无论是前沿实验室（frontier labs）还是小型实验室（small labs），都在探索多模态模型的应用方向。AI如何“感知”和理解外部世界？拥有一系列强大的开放式模型（open models）对于该领域全面且公开、透明的发展至关重要——这是实现积极成果的两个关键条件（译者注：这两个条件应当是指全面、公开透明的发展）。
目前，多模态语言模型研究大多是通过 late-fusion 模型进行的，即基于语言主干网络（language backbone）和图像编码器（image encoder）（很可能也是 GPT-4V 所使用的方法）进行初始化。 这种对基础语言模型的微调方式虽然成本较高，但实际上计算成本并没有人们想象的那么难以承受。虽然存在多种模型架构[1]，但由于 late-fusion 这一架构的稳定性和可预测性，成为了当下研究的热门选择。Molmo 和 Llama 3.2 V 就是通过这种方法训练而成的。
通过在多模态数据集上预训练的 early-fusion 模型来扩展数据的预期效果尚未显现。或许只有当这些模型在 GPT-5 级别的计算集群上进行测试时，它们的真正优势才会显现出来。
Late-fusion 的多模态方法激发了我们对如何将基础语言模型转型升级为多样化输出形式的深入探索。回顾过去几年我们在模型微调领域所采用的各种技术，从 RLHF 开始，到多模态 late-fusion 模型，再到像 o1 这样的创新模型，我们意识到模型还有大量表达潜能等待我们去发掘。一些基本问题仍然值得关注，比如“多模态训练会对 GSM8k 或 IFEval 这样的标准文本评测基准造成何种影响？”在对模型进行视觉方面的微调之后，那些主要用于评估模型知识水平的标准测试，例如 MMLU（Massive Multitask Language Understanding）测试，并没有发生较大变化。
这个领域对我来说同样新颖。本文的主要介绍对象是 Ai2 的一个重要模型版本——Molmo[2]（开放式多模态语言模型），以及 Meta 的新模型 Llama 3.2 Vision。两者都推出了一套不同规模的四个模型。它们的性能表现相当，但 Molmo 在开放程度上更胜一筹。
Meta 发布了 Llama 3.2 的早期版本，包括 1B、3B、11B-Vision 和 90B-Vision[3]，并在博客文章中透露了一些训练过程的细节[4]（文章中还有相关链接）。11B 模型可能是基于 Llama 3 8B 模型的改进版，而 90B 模型则是在 Llama 3 70B 模型的基础上发展而来的。
Ai2 推出了基于 Qwen 2 72B 打造的 Molmo 72B，基于 Qwen 2 7B 的 Molmo-7B-D，即将问世的基于 OLMo 7B 版本的 Molmo-O，以及基于 OLMoE 并拥有 1B 活跃参数的 Molmo-E。
Molmo 系列模型采用 Apache 2.0 许可协议，而 Meta 模型则采用了 Llama 3.2 社区许可协议，该许可协议对模型的使用施加了一些较为严格的限制。
这不禁让人思考，人工智能领域的发展将何去何从。实际上，重头戏是 1B 和 3B 参数规模的 Llama 模型。小型语言模型的市场需求持续攀升，而且随着这些模型能力的不断提升，市场潜力还在不断扩大。我会反复探讨这一话题，但今天我们聚焦的是多模态。
01 Llama Vision：面向大众开发者的多模态模型
自 Llama 3 报告[5]发布以来，Meta 已经明确表示这些模型不久将面世（欧盟地区除外）。Meta 正在将它们应用到 Meta AI 以及旗下的增强现实（AR）/虚拟现实（VR）设备，例如 RayBan 智能眼镜。 这些模型非常可靠，比封闭实验室的小型模型更胜一筹，后者的活跃参数通常估计在 60B 范围内。
关于这些模型的具体信息相对较少。若欧盟地区的用户尝试从 Meta AI 的官方页面下载模型，将会看到我在 HuggingFace 平台上看到的地理限制锁