AI がチャットボットから自律型エージェントへと進化するなか、オープン モデルは、AI の実行場所や展開、進化の方法を完全に制御したいという市場のニーズに応えています。
NVIDIA は本日、Nemotron 3 モデル ファミリーを拡充し、長時間稼働するエージェント型 AI ワークロードにおいてクラス最高の効率を誇る Nemotron 3.5 Lightning を発表しました。これは Nemotron 3 Nano に続くリリースであり、精度と速度の向上に向けてオープン モデルを継続的に改善するという NVIDIA の取り組みを反映しています。
より大規模なマルチ エージェント システムにおける特定タスク向けに構築された Nemotron 3.5 Lightning は、300億パラメータの mixture-of-experts モデルであり、よりスマートで効率的なエージェント型アプリケーションの構築を支援します。
また、NVIDIA は主要なエージェント ツール内でのスマート ルーティングを実現するオープンソース ライブラリ、NeMo Switchyard をリリースしました。企業はこれを利用し、独自のニーズに合わせたルーターを構築することが可能です。導入すれば、開発者がアプリケーションを書き直すことなく、各リクエストをそのタスクに最も適した、高い能力を持つモデルへとインテリジェントに振り分けることができます。
Nemotron 3.5 Lightning と NeMo Switchyard を組み合わせることで、PC、ワークステーション、データセンター、クラウドといったあらゆる環境において、AI の導入方法、実行場所、そして運用効率をより詳細に制御できるようになります。
常時稼働するエージェントには System of Models が必要
常時稼働する今日の自律型エージェント システムは、特定のタスクに特化した複数のモデルを組み合わせたシステム (system of models) やモデル アンサンブルとして機能するケースが増えています。
NVIDIA Nemotron オープン モデルは、こうしたアーキテクチャに対応するよう設計されています。Nemotron 3 Ultra や GPT-5.6 のようなフロンティア リーズニング モデルがワークフローの計画やオーケストレーションを担う一方で、Nemotron 3.5 Lightning のような小型で特化型のモデルは、コードレビュー、ツールの利用、セキュリティ警告の監視、請求に関する質問への回答といった特定のタスクを実行することができます。
Nemotron 3.5 Lightning で大量の専門的タスクを高速化
NVIDIA Nemotron 3.5 Lightning は、常時稼働するエージェントによる大量のタスク処理を支えるために構築された、完全にカスタマイズ可能なオープン モデルです。本モデルは Nemotron Coalition の貢献により開発されました。Coalition のメンバー企業や機関は、モデルの進化を促進するために、評価手法、推論ソフトウェア、データセットなどを提供しています。
このモデルは最大 4 倍の出力高速化を実現し、同クラスの他のモデルと比較して、エージェントによるタスク完了時間を 30% 短縮します。また、オープンかつカスタマイズ可能であるため、NVIDIA NeMo を使用して組織独自のドメインデータ、ツール、ワークフローで容易にポストトレーニングを行うことができ、専門的なタスクにおける精度を向上させることが可能です。
サイバー セキュリティ分野の CrowdStrike、法務サービスの Harvey（Trajectory と連携）、コードレビューの CodeRabbit （Baseten と連携）など、各業界をリードする企業が、それぞれのワークロードに合わせて Nemotron 3.5 Lightning をカスタマイズし、ドメイン特化型のエージェント タスクにおける精度向上を実現しています。さらに、 Lila Sciences は物理科学や生命科学の分野におけるエージェント タスクのリーズニング能力向上に取り組んでいるほか、Fastino Labs は同モデルをカスタマイズし、ソフトウェア開発、金融、ヘルスケアといったワークロードにおいて業界トップ クラスの精度を達成しています。
また、Nemotron 3.5 Lightning は、プライバシーや導入形態を組織が自ら管理できるようにします。NVIDIA RTX PC、 NVIDIA DGX Spark、NVIDIA DGX Station、NVIDIA Jetson などのローカルAIシステムで動作させ、既存のインフラ投資を最大限に活用できるほか、エッジ AI デバイス、NVIDIA RTX PRO ワークステーション、データセンター、クラウド環境へと拡張し、企業の多様なユースケースに対応させることも可能です。さらに、迅速な応答が求められる大量の専門的タスクに対しては、ローカル環境やオンプレミスで実行することもできます。
これまでの Nemotron のリリースと同様に、NVIDIA はライセンスが許す限り、学習データや手法を可能な限り公開しています。これにより、トレーサビリティや監査が可能になるほか、他のモデルの学習に活用することもできます。Lightning のリリースに合わせて、NVIDIA は Nemotron-RL-Agentic-Terminal-Pivot も公開します。これは、コーディング エージェントとしての能力を持たせるためのポストトレーニングに使用される、エージェント型強化学習用データセットです。
モデル ルーティングによる AI アプリの効率化
コーディングに適したモデル、リーズニングに優れたモデル、軽量なタスク向けのモデル、そしてプライバシーと効率性を高めるためにローカル実行に最適化されたモデルなど、モデルにはそれぞれ特性があります。単一のデフォルト モデルに依存すると、過剰なコストや品質の低下を招く恐れがあります。一方で、ルーティングを手動で管理しようとすると統合作業が複雑化し、デプロイの遅延につながる可能性があります。
NVIDIA NeMo Switchyard は、AI エージェント向けのオープンソース モデル ルーティング ライブラリです。この技術は、特定の要件に基づき、エージェントのワークフローにおける各ステップにおいて、能力が高く効率的、つまり最適なモデルへとプロンプトを自動的に振り分けます。エージェント アプリケーションの開発者は、品質、レイテンシ、コストといった優先事項に合わせて、異なるルーティング アルゴリズムでルーターを調整、変更することが可能です。複数のモデルを組み合わせたシステムにおいて、企業は優れた AI エージェントを構築し、トークノミクスの改善を実現できます。
社内ベンチマークによると、NeMo Switchyard はフロンティア レベルの精度を維持しつつ、タスク完了にかかるコストを Opus 4.8 単独使用時の 3 分の 1 近くにまで削減できることが示されています。
NVIDIA は AI エコシステムのパートナーと協力し、開発者がすでに利用しているツールやプラットフォームに、インテリジェントなモデル ルーティング機能を組み込む取り組みを進めています。
- Boomi：5つのルーティング機能で Switchyard を評価した結果、ドメイン ルーティングの精度 100% を達成しました。また、トラフィックの 59% を 5 倍高速なファイン チューニング済みモデルに振り分け、後続のターンにおけるレイテンシを 21% 削減しました。
- Cadence：フォーマル検証のユースケースにおいて ChipStack AI Super Agent を活用し、効率を 9% 向上させました。
- Classmethod：NeMo Switchyard を活用して opencode および Fireworks のワークロードを運用しており、初期テストでは品質を維持しつつ 27% のコスト削減を達成しました。
- Cognition：NVIDIA 社内向けの Devin Desktop に NVIDIA NeMo Switchyard の段階的ルーター（staged router）を統合しました。これにより、すべてのリクエストを単一のフロンティア モデルにルーティングする場合と比較して、平均コストを 28% 削減しつつ、FrontierCode Main においてフロンティア モデルに匹敵する性能を実現しました。
- Kong：Kong AI Gateway を通じて、NeMo Switchyard によるルーティング機能をネイティブに提供しています。
- LangChain：NeMo Switchyard を導入し、145 件のマルチターンDeep Agents タスクにおいて、フロンティア モデルへのルーティングを全体の 7% に抑えることで、精度低下を 6% にとどめながらコストを 74% 削減しました。
- LiteLLM：プロキシ層にプラグインとして NeMo Switchyard を組み込んでおり、開発者は既存の技術スタックを変更することなく、そのメリットを享受できるようになります。
- Nous Research：Hermes に NeMo Switchyard を統合し、エージェントの効率向上に役立つ、設定が容易なルーティング システムを開発者に提供しています。
- Ramp：NeMo Switchyard を活用し、Ramp SWE-Bench においてフロンティア モデルと同等の性能を維持しつつ、コストを 58%、実行時間を 33% 削減しました。
- Siemens：Fuse EDA AI Agent の効率化に向け、ベンチマーク評価を実施しています。
Nemotron 3.5 Lightning は、Hugging Face、ModelScope、OpenRouter、 build.nvidia.com にて NVIDIA NIM マイクロサービスとして利用可能なほか、NVIDIA のクラウド パートナー、ポストトレーニング プラットフォーム、推論プラットフォーム、クラウドサービス プロバイダーから構成される広範なエコシステムを通じても提供されます。NeMo Switchyard は GitHub で利用可能であり、まもなくパートナーのプラットフォームでも提供される予定です。