生成AIの業務適用が実験的なPoC（概念実証）を脱し、基幹業務への本番導入フェーズへと移行する中、エンタープライズ向けAI基盤のアーキテクチャに構造的な変化が起きている。
AIエージェント基盤「Jinba」を提供する株式会社Carnot（Carnot AI, Inc.）は、2026年11月6日、NVIDIAが展開するスタートアップ支援プログラム「NVIDIA Inception」に採択されたことを発表した。同社はすでに三菱UFJ銀行をはじめとする大手金融・製造業への導入実績を有し、SOC 2 Type2認証も取得している。今回の採択を機に、企業内のオンプレミスやプライベートクラウド環境でAIを動かす「ローカル推論基盤」の共同検証と技術連携を加速させる方針だ。
これまで主流だった「外部パブリックAPIに依存したAI活用」から、なぜ今「自社管理下のローカル推論」への回帰が始まっているのか。本発表と一次情報をもとに、技術的背景と今後の開発現場への影響を紐解く。
1. 発表の要点と背景（2026年11月6日発表）
2026年11月6日に公開されたプレスリリースにおいて、Carnot AIは「NVIDIA Inception」への参画を通じたローカル推論環境への本格注力を表明した。背景には、エンタープライズ特有の3つの必然性がある。
① データ境界とガバナンス（Data Residency）
金融、保険、医療、製造といった規制業界や研究開発の中核部門では、機密情報や顧客データ、知財を外部APIへ送信すること自体が重大なコンプライアンスリスクとなる。データを自社VPCやオンプレミスの境界内に留めたまま推論処理を完結させる需要は極めて高い。
② ツール自律実行時のレイテンシ累積
AIエージェントが複数ツールを自律的に呼び出す「Agentic Workflow」では、モデル呼び出しが多段階に発生する。外部APIとの通信遅延が積み重なると、1つの業務処理に十数秒〜数分の待ち時間が発生し、実用性が損なわれる。高速な社内ネットワーク内で完結するローカル推論は、応答性能の担保に直結する。
③ トークン課金モデルに伴うコスト不確実性
利用頻度の増加に応じて費用が跳ね上がる従量課金APIは、大規模な全社展開においてTCO（総保有コスト）の見通しを立てにくい。GPUリソースを専有するローカル推論環境を構築・最適化することで、固定コストでの高頻度稼働が可能になる。
2. Carnot AIの開発基盤と「Jinba」の設計思想
株式会社Carnot（米国本社：Carnot AI, Inc.）は、慶應義塾大学大学院でVision and Language領域の研究に従事しICCV等での採択実績を持つ松森匠哉CEO（工学博士）らによって2022年10月に設立された。サンフランシスコ（South Beach）に本社、東京・港区に日本オフィスを構え、AI研究者、戦略コンサルタント、大手テック出身のエンジニアが集う。
同社が提供する「Jinba」は、業務システム連携とAIエージェント運用を支えるプラットフォームであり、その設計にはエンタープライズ運用の知見が色濃く反映されている。
- 「Jinba Flow」と「Jinba App」の機能分離
ワークフローの構築・検証・デプロイを担うバックエンド的役割の「Flow」と、現場の従業員がチャットなどで実行するフロントエンドの「App」を明確に分離。ロジックの管理性と現場のUI体験を両立させている。
- 厳格なエンタープライズ統制
ロールベースのアクセス制御（RBAC）、操作・実行ログの完全な監査トレース、SOC 2 Type2保証報告書に裏付けられたセキュリティ耐性を備え、オンプレミスやプライベートクラウドへの柔軟なデプロイに対応する。
3. 実践の先駆け：三菱UFJ銀行（MUFG）での市民開発
Jinbaのエンタープライズ適応力を示す象徴的な事例が、三菱UFJフィナンシャル・グループ（MUFG）の公式DXサイト「INNOVATION HUB」で公開された同行の市民開発プロジェクトだ。
三菱UFJ銀行は2026年4月にJinbaを導入。デジタル戦略統括部およびデジタルソリューション部が推進役となり、以下の現場実務で活用されている。
- トランザクションバンキング部: 法人決済や送金関連の業務照合
- 市場企画部ポートフォリオ運用室: 市場データや運用関連文書のチェック
- ウェルスマネジメントコンサルティング部: 資産管理・提案資料作成の効率化
特筆すべきは、エンジニアに頼るのではなく、業務のプロである現場担当者が自然言語の指示でワークフローを自作・自動化する「市民開発」を推進している点だ。金融機関特有の厳格なセキュリティ要件をクリアしながら、現場主導のDXスピードを劇的に引き上げる運用モデルを確立している。
このほかにも、東証プライム上場の製造業における非構造化ドキュメントの構造化や、大手保険会社での取引・支払査定の自動化など、機密データを扱う基幹業務での採用が進んでいる。
4. 競合比較から見る立ち位置の特異性
一般的なSaaS型AIエージェントプラットフォームと比較すると、Jinbaのポジショニングは「インフラの自社管理性」と「現場展開力」の交点にあることがわかる。
| 比較軸 | 一般的なSaaS型AIエージェント基盤 | Jinba（Carnot AI）のアプローチ |
| 推論実行環境 | 外部パブリックAPI（OpenAI/Anthropic等）固定 | オンプレミス / プライベートクラウド / ローカル推論に対応 |
| 推論最適化 | クラウド側の仕様に依存（ブラックボックス） | NVIDIA推論スタック（TensorRT等）連携による独自性能・コスト検証 |
| レイヤー構造 | チャットUIと実行ロジックが密結合 | 構築エンジン（Flow）と現場UI（App）の完全二層分離 |
| 現場展開力 | エンジニアによる都度開発・インテグレーションが前提 | 業務部門がプロンプトで自作できる「市民開発」＋厳格な全社統制 |
| セキュリティ | 基本的なAPIログ管理が中心 | SOC 2 Type2取得、詳細な監査ログ、自社環境内データ隔離 |
5. 今後の影響：開発現場とエンジニアに求められる変化
今回のNVIDIA Inception採択とローカル推論の強化は、今後のエンタープライズIT市場およびエンジニアのスキルセットに明確なパラダイムシフトをもたらす。
① 「市民開発」と「プラットフォームエンジニアリング」の二極化
業務ロジックの構築がノーコードや自然言語を通じて現場の業務部門（市民開発者）に開放されることで、社内エンジニアの主務は「個別ツールの作成」から「推論基盤の提供とガバナンス設計」へと移行する。セキュアなネットワーク設計、GPUリソースの動的配分、監査ログ基盤の運用といったプラットフォームエンジニアリングの価値が急速に高まることになる。
② MLOpsから「LLMOps／推論サービング」への重心移動
自社インフラでモデルを効率的に動かすため、NVIDIA TensorRT-LLMやvLLMを用いたモデルサービング、量子化（FP8/FP4）、KVキャッシュ最適化、コンテナ化推論マイクロサービス（NIMs）の設計など、推論インフラに精通したエンジニアの需要が急拡大する。
③ インフラとワークフローの疎結合化が標準に
基盤側のLLMやGPUハードウェアは極めて速いサイクルで進化を続ける。業務ロジック（Jinba Flow）をインフラ層から抽象化し、背後の推論エンジンを柔軟に差し替えられるアーキテクチャを敷くことが、技術的負債を防ぐ上での必須要件となっていく。
