Olmo-core 3とは
Olmo-core 3は、Allen Institute for AI（Ai2）が公開する大規模言語モデル学習用のPyTorch基盤です。特にMixture-of-Experts（MoE）モデルを多数のGPUへ拡張するため、分散処理と通信を再設計しています。
主な特徴
- PyTorchとDDPを基盤にしたMoE学習
- ExpertをGPU上へ常駐させる設計
- DeepEP v2による大規模なExpert通信
- MXFP8を使った低精度学習への対応
- Apache 2.0ライセンスのオープンソース
- PyPIのai2-olmo-coreから導入可能
公開ベンチマーク
Ai2の公開テストでは、8台のNVIDIA B300上で47B MoEを学習した場合、GPUあたり毎秒52,000トークンを記録し、以前の構成の19,400から約2.7倍になったと報告されています。Expert数を8から128へ増やしても、同条件でのスループット低下は5%未満でした。
注意点
公開値はAi2の特定ハードウェア・設定での基盤性能であり、モデル品質や他環境での速度を保証するものではありません。導入には分散学習、GPU通信、障害復旧、チェックポイント、費用管理の専門知識が必要です。