米Metaはギガワット級AIスーパークラスター「Prometheus」の構築状況と技術基盤を公開した。数十万基のGPUを連携させる第1期はすでに完成しており、約100万基への拡張を進めている。
Meta、数十万GPUを結ぶAI訓練基盤の詳細を公開
2026年10月19日にMetaが詳細を公開した「Prometheus」は、米オハイオ州ニューアルバニーで構築が進むギガワット級のAI訓練基盤である。
従来はウェブサービスの処理を担っていたデータセンターを、ハードウェアやネットワーク、建物設計の改良によって、最先端AIモデルの訓練施設へと再構成した。第1段階はすでに完成しており、Metaは約100万基のGPUを備える規模への拡張を進めている。
現在は複数の建物にまたがる数十万基のGPUを光ファイバーで接続し、単一の計算機のように動作させている。この基盤はMetaの基盤モデル「Muse」ファミリーの訓練に使われ、新モデル「Muse Wonder」の開発にも活用された。
GPUには、NVIDIAのGB200 NVL72を採用した「Catalina」と、GB300 NVL72を採用した「Clemente」を導入している。Catalinaは72基を2ラックに分けて接続し、Clementeは72基を1ラックに収める。
ClementeはGPU当たりのメモリー容量が288GBとなり、GB200の192GBから50％増えたほか、FP4演算性能も向上した。今後は次世代のVera Rubin NVL72を基盤とする「San Miguel」も導入する計画だ。
訓練を支えるため、建物内外のGPU間通信には専用のイーサネット網を整備した。ネットワーク全体では、数万台のスイッチと大量の光通信機器を使う。
障害対策として、予備GPUへの切り替えや、保存済みの学習状態からの再開にも対応する。
Metaによると、初期段階でGPU8,000基当たり1日約1,000件に達していた中断は、約1年間の改善で99％減少した。Muse Wonderの事前学習ではグッドプット85％超、強化学習では90％超を達成したという。
電力面では「Dynamo Dimmer」や蓄電設備で急激な需要変動に対応し、冷却には液冷を併用してGPUを高密度に配置している。
Metaは、Prometheusで得た設計上の知見を、ルイジアナ州で計画する次期施設「Hyperion」にも反映する方針だ。
計算能力の拡大がもたらす利点と運用上の課題
Prometheusのような大規模基盤は、より大きなAIモデルや長いコンテキストを扱う訓練を可能にし、モデル開発の選択肢を広げると考えられる。計算資源を増やすだけでなく、通信や障害復旧を含めて最適化することで、GPUの処理能力を有効に活用しやすくなる点も利点だろう。
特に、障害の発生を想定して予備GPUやチェックポイントを組み込む設計は、大規模な訓練を継続するうえで重要になる。
一方、GPUの増設には電力供給、冷却設備、ネットワークの整備が不可欠となる。液冷や蓄電設備によって負荷への対応を図っても、施設の規模が大きくなるほど、設備の安定運用や障害の影響範囲を管理する難しさは増す恐れもある。
そのため、拡張に伴う運用負担や設備投資をどう抑えるかが課題になりそうだ。
今後は、GB300やVera Rubinの導入によって、消費電力当たりの計算性能がどこまで向上するかが注目される。Prometheusで蓄積した運用上の知見が次期施設に生かされれば、Metaの将来的なAI基盤づくりを左右する可能性もある。
関連記事：
メタのAI基盤が刷新へ エヌビディア、数百万個の次世代チップを複数年供給
メタCEOザッカーバーグ氏、数百ギガワット級AI計算基盤を構想
