NVIDIA Nemotron 3.5 Lightningとは
NVIDIA Nemotron 3.5 Lightningは、長時間動くAI Agentの「実行層」を担当するために設計されたMixture-of-Expertsモデルです。総パラメータは300億、各トークンで使うアクティブパラメータは約30億です。
最上位モデルへすべての処理を任せるのではなく、計画や難しい判断は強いモデル、ツール呼び出し、結果確認、コードレビュー、定型応答はLightningへ振り分ける構成を想定しています。
主な特徴
- 30B／約3B活性のMoE：保存時は30B規模ですが、推論時の計算量を抑え、高頻度処理へ向けています。
- Agent実行向け学習：ツール呼び出し、サブAgentへの委譲、結果の検証など、繰り返し発生する処理を重視しています。
- 推測デコード：Multi-Token Predictionに加え、DFlashとDSparkのドラフトモデルを用意しています。
- BF16とNVFP4：精度を優先するBF16と、対応NVIDIA GPUでメモリと速度を調整しやすいNVFP4が公開されています。
- 日本語を含む多言語：公式モデルカードは英語、スペイン語、フランス語、ドイツ語、イタリア語、日本語を対象言語として掲載しています。
- ローカル実行環境：Ollama、llama.cpp、LM Studio、Unslothなどの対応が案内されています。
どんな用途に向くか
- 長時間Agentで大量に発生するツール選択と引数生成
- CIログ、監視アラート、請求問い合わせなどの定型処理
- RTXワークステーションやオンプレミス環境での低遅延Agent
- 強いクラウドモデルと小型実行モデルを組み合わせるルーティング
Ollama、llama.cpp、LM Studio、Unsloth Desktopから試す場合も、各ランタイムが対応する量子化形式とコンテキスト長を確認してください。
公式ベンチマークの読み方
NVIDIAは、同クラスのモデルに対して最大4倍の出力速度、類似精度でAgentタスクを30%早く完了したと説明しています。ただし、これらは特定のハードウェア、推論設定、評価ハーネスを使った公式測定です。
実務ではトークン毎秒だけでなく、タスク完了率、誤ったツール実行、再試行回数、総入力・出力トークン、処理終了までの時間をまとめて測ります。日本語では、引数の表記揺れ、日付、通貨、住所、敬語を含むテストを追加してください。
NeMo Switchyardとの関係
NeMo Switchyardは、OpenAI／Anthropic形式を相互変換しながら、複数モデルへリクエストを振り分けるApache 2.0のプロキシ兼Rustライブラリです。Claude Code、Codex、OpenClawを起動し、vLLM、NVIDIA NIM、Ollamaなどのバックエンドへ接続できます。
ただしSwitchyard自身のREADMEはpre-alphaで本番非推奨と明記しています。まず検証環境で、弱いモデルから強いモデルへ正しく昇格できるか、障害時にフォールバックできるかを確認してください。
ライセンスと安全性
公式配布はOpenMDW-1.1で、重み、学習データ、レシピをカスタマイズできる形で公開されています。モデル、データセット、派生物で適用条件が異なる可能性があるため、商用配布前に各ファイルのライセンスを確認してください。
ローカル実行でも、Agentへファイル、ネットワーク、MCP、外部APIを渡せば実世界へ影響します。公開、送信、削除、購入は承認対象にし、ログへ機密情報を残さない設計が必要です。
エージェント・自動化ツールを探す ／ ローカルAI比較を読む