在最近的一项研究中，来自美国宇航局和IBM的一组研究人员合作开发了一种模型，该模型可应用于地球科学，天文学，物理学，天体物理学，太阳物理学，行星科学和生物学以及其他多学科学科。当前的模型，如 SCIBERT、BIOBERT和SCHOLARBERT仅部分覆盖了其中的一些领域。现有的模型没有充分考虑所有这些相关领域。
在这项研究中，Indus特别关注与地球、天体、太阳和太阳系内的行星相关的跨学科领域，如物理学、地球科学、天体物理学、太阳物理学、行星科学和生物学。虽然现有的特定领域模型（如 scibert、biobert和scholarbert）的训练语料库部分涵盖了其中一些领域，但目前还没有一个特定的模型可以共同涵盖所有感兴趣的领域。Indus，这是一个基于llm Encoder的合集，专注于这些感兴趣的领域，使用来自不同来源的精心策划的语料库进行训练。
具体而言，Indus做到了：
1. 利用字节对编码算法IndusBPE，从精选的科学语料库中定制的分词器。
2. 利用精心策划的科学语料库和IndusBPE标记器预训练了多个 encoder-only的大模型 （Indus-base）。通过微调这个编码器模型，使用 对比学习 目标来学习“通用”句子嵌入（粉色的部分），进而创建了sentence-embedding模型。最后还使用知识蒸馏技术训练了这些模型的更小，更高效的版本（Indus-small）。
3. 本次还创建三个新的科学基准数据集，即气候变化ner（实体识别任务）、nasa-qa（抽取式问答任务）和 nasa-ir（检索任务），以进一步加速这一多学科领域的研究。
4. 通过实验结果表明模型在这些基准任务以及现有的特定领域基准上具有很强的性能，与原始模型相比，在大多数基准任务中，知识提炼的小模型在延迟方面实现了显着提高，同时保持了强大的经验性能。
至于训练数据方面，下图左侧是本次的训练语料库的组成部分，右侧对比RoBERTa和IndusBPE Tokenizer的效率，标记越少，计算成本越低。下文为两者切词的对比。
模型的整体架构如上，没有太复杂的地方。唯一值得关注的是利用了知识蒸馏和对比学习，训练出更小的模型，和检索器。
实验结果表明，这些模型在最近创建的基准任务和当前使用的领域特定基准上都表现良好。它们的性能优于特定领域的编码器（如 SCIBERT）和通用模型（如 RoBERTa），关键是整体的体积很小！
本文转载自，作者：