データセンターの接続
Sep 18, 2025| 高-パフォーマンスコンピューティングシステムの変換
前例のない計算機能に向かってプッシュすると、-パフォーマンスコンピューティングシステムのランドスケープが劇的な変換を受けています。パフォーマンスの予測では、高-エンドコンピューティングシステムが3桁成長し、ペタスカール（10^15フロップ）からエクサスケール（10^18フロップ）コンピューティング機能に移行することが予想されます。
この指数関数的な成長軌道は、ムーアの法律の継続的な適用にもかかわらず、従来のCMOSテクノロジーのスケーリングだけでは対処できない基本的な課題を提示します。最近の研究では、エクサスカーのパフォーマンスを達成するには、データセンターの接続性がシステムアーキテクチャと相互接続戦略に対するアプローチを根本的に変える重要なボトルネックになる約100,000の計算ノードで構成されるシステムが必要になる可能性があることが示唆されています。これらのシステムの規模は、これらの大規模な計算リソースを結合する通信インフラストラクチャの設計と実装方法における革新的な進歩を必要とします。
計算成長予測
PetascaleからExascaleコンピューティング機能への予測成長
相互接続ネットワークの成長する課題
計算能力が増加すると、システムが通信する方法が重要な制限要因になります。
このスケーリングチャレンジの意味は、単なる計算能力をはるかに超えています。システムサイズとパフォーマンス要件が引き続きエスカレートするにつれて、相互接続ネットワークは、エネルギー消費とシステム全体のパフォーマンスの両方の重要なボトルネックとして急速に浮上しています。
相互接続インフラストラクチャへの圧力は、ネットワーク効率が次の{-生成コンピューティングシステムの実現可能性を直接決定するポイントに強くなりました。この現実は、高- RADIXネットワークスイッチに強い関心を集めました。これにより、特定のシステムスケールに必要なスイッチの総数と、ソースから宛先へと移動するデータパケットのホップカウントの両方を減らすことにより、データセンター接続に魅力的な利点を提供します。
ネットワークトポロジの進化
Modern High -パフォーマンスコンピューティングには、レイテンシを最小限に抑え、数千のノードにわたって帯域幅の利用を最大化するために、洗練されたネットワークトポロジが必要です。
high - RADIXスイッチアーキテクチャ
階層接続
折りたたまれたクローズネットワークによって例示され、層状アーキテクチャを通じて予測可能なパフォーマンス特性を備えた構造化されたスケーラビリティを提供します。
直接接続トポロジ
中間スイッチング段階を減らすことでレイテンシを最小限に抑える、平坦化された蝶やHyperx構成など。
ハイブリッドアプローチ
両方の戦略の要素を組み合わせて、特定のワークロードパターンとシステム要件を最適化します。
高{-ラジックススイッチの基本的な利点
- 高い二等分帯域幅を維持しながら、ネットワークの直径が減少しました
- 同等のシステムスケールに必要なスイッチの総数が低い
- ソースから目的地へと移動するデータパケットのホップカウントの減少
- アーキテクチャの最適化により、システム全体の効率が向上しました
高-ラジックススイッチの基本的な魅力は、高い二等分帯域幅を維持しながらネットワークの直径を減らす能力にあり、最新のデータセンター接続アーキテクチャにとってますます魅力的になります。実際の実装では、これらのスイッチは複数の競合制約のバランスをとる必要があります。チップI/O帯域幅と電力予算は、RADIXスケーリングの2つの最も重要な制限要因を表しています。
データセンター接続シナリオのレイテンシを減らすためにスイッチラジックスを増やしながら、-ポート帯域幅ごとに維持しようとすると、課題は特に深刻になります。この課題は、主にチップ周辺の帯域幅の制限に起因します。ここでは、半導体（ITRS）の予測のための国際技術ロードマップは、- PIN帯域幅と次の10年間の合計PINカウントの両方でわずかな成長のみを示しています。
ケーススタディ：クレイのYARCスイッチ
CrayのYARCスイッチは、データセンター接続のための現在の電子スイッチングテクノロジーの機能と制限の両方を示す高-パフォーマンスシングル-チップ実装を表します。
YARCアーキテクチャは、64の双方向ポートで共有された768ピンを利用して、2.4 Tb/sの総帯域幅を達成しています。各ポートには3つの入力データ信号と3つの出力データ信号が必要です。これは、データセンター接続アプリケーションに高強化された高-速度信号の整合性を実装するときに12ピンに2倍になります。
YARCスイッチ電源分布の故障
消費電力の課題
消費電力は、高い{-パフォーマンスコンピューティングの重要な制約となっており、多くの場合、生の計算能力よりもスケーラビリティを制限します。
パワースケーリングチャレンジは、I/Oインターフェイスだけを超えて拡張されます。 on - chipグローバルインターコネクトは、純粋に電子的なソリューションが対処するのに苦労している追加のパワーボトルネックを提示します。ワイヤの形状はトランジスタの寸法に比例して縮小しないため、各テクノロジーの生成とともにグローバルなワイヤパフォーマンスは劣化し続けています。
レイテンシを最小限に抑えるために、YARCのような高度なスイッチは、グローバルデータと制御パスに-装備されたワイヤを装備しているような高度なスイッチを使用して、必要な-の帯域幅オーバーサブスクリプションをスイッチするために、多数の中間バッファと配線リソースを必要とします。このアーキテクチャの複雑さは、電力消費を増加させるだけでなく、タイミングの閉鎖と物理設計の実装を複雑にし、電力効率とスケーラビリティが最重要であるデータセンター接続インフラストラクチャのカスケード課題を生み出します。
より高い-レートシリアイザー/デセリアライザー（SERDES）テクノロジーの採用は、帯域幅密度の増加への1つの潜在的なパスを提供しますが、このアプローチには大幅な貿易-オフが伴います。 High -速度Serdesサーキットは、それ以外の場合は関数の切り替えに利用できるチップの電力予算の大部分を消費します。
YARCの実装では、高-速度微分セルド回路は、総チップ電力の約50％を消費します。これは、-帯域幅の電気信号に関連するエネルギーコストを冷静に思い出させるものです。この消費電力パターンは、基本的な制限を強調しています。電気信号を高速に押し込むと、ビットあたりのエネルギーが大幅に増加し、将来のデータセンター接続要件に対する純粋に電子ソリューションの実行可能性を脅かします。
キーパワーボトルネック
high -速度セルド回路50%
on - chip global Interconnects 25%
ロジックの切り替え15%
その他のコンポーネント10%
シリコンフォトニクス：パラダイムシフト
革新的な相互接続技術
シリコンフォトニクスは、光を使用したデータ送信を可能にし、高-パフォーマンスコンピューティングシステムでの電気信号の基本的な制限を克服します。
新たなシリコンフォトニクステクノロジーは、電子スイッチを制限するPIN帯域幅の制限に対する変革的ソリューションを提供します。導波路または光ファイバーの-チップ波動ガイドに直接結合できるようにすることにより、フォトニック相互接続は、高-速度電気ピンの必要性を完全に排除します。
個々の光信号速度は電気PINレートに匹敵しますが、導波路あたりの凝集帯域幅は、高密度波長分割多重化（DWDM）テクノロジーを介して劇的に増加させることができます。最新のDWDM実装は、単一の導波路内の独立した通信チャネルとして最大64の波長をサポートでき、次の-ジェネレーションデータセンター接続に特に重要な前例のない帯域幅密度を提供します。
DWDMテクノロジーの利点
64の独立したチャネル
複数の波長をサポートする単一導波路
帯域幅密度の増加
単位面積あたりの優れたデータスループット
エネルギー効率
長い{-距離伝達の低い消費電力
物理的な接続の減少
同等の帯域幅に必要なケーブルが少なくなります
エネルギー効率の比較
光学相互接続のエネルギーの利点は、光学リンクのビット輸送エネルギー（BTE）が透過距離とはほぼ無関係であるデータセンター環境で特に顕著になります。この距離-不変性特性は、電気的相互接続とはっきりとコントラストします。ここでは、BTEは非-繰り返される条件下で距離とともに直線的に成長し、信号の整合性と潜伏パフォーマンスを維持するためにリピーターを使用するとさらにひどく劣化します。
ハイブリッドアーキテクチャ
距離-依存トレード-電子技術とフォトニックテクノロジーの間のオフの最適化
両方の世界の最高
光学相互接続は、長い{-距離通信に魅力的な利点を提供しますが、次の-生成スイッチングシステムの最適なソリューションは純粋に光学的ではなく、慎重に設計されたハイブリッドアプローチです。
このハイブリッド戦略は、各技術ドメインの強度を活用して、短距離の電気伝送を維持しながら、長距離の光伝送を活用します。
- アイドル期間中でも静的バイアス要件
- 高い利用率でのみ最適な効率
- 電気-から-光学インターフェイスでの変換レイテンシ
- フォトニック成分の温度感度
- 短距離のビット輸送エネルギーを低くします
- 短い-範囲通信のためのより高速な送信
- シグナリングドメイン間の変換オーバーヘッドはありません
- 確立された設計方法論を備えた成熟した技術
電気効率と光学効率のクロスオーバーポイントは、テクノロジーノード、信号速度、特定の実装の詳細など、複数の要因に依存します。データセンターの接続要求が指数関数的に拡大し続けるにつれて、効率の比較がますます重要になります。フィーチャサイズが電子技術とフォトニックテクノロジーのレートで異なる速度で縮小し続けるため、このクロスオーバーポイントは進化し、データセンターの接続性要件の変化に適応できるシステム設計のアーキテクチャの柔軟性を維持することが重要になります。
現在の投影は、電気シグナル伝達から光学シグナル伝達への最適な遷移点が、フォトニック統合技術が成熟するにつれてより短い距離に向かってシフトし続けることを示唆しています。
将来のスイッチングアプリケーションのための電子対フォトニックソリューションの評価には、関連する時間枠にわたってプロジェクト機能をプロジェクトする明確な技術的ロードマップが必要です。電子技術の場合、ITRSは、特にこれらのメトリックがデータセンターの接続要件にますます重要になるため、デバイスのスケーリング、相互接続性能、および消費電力の傾向の包括的な予測を提供します。
ただし、光学通信フィールドには同様に統一されたロードマップがなく、電子ソリューションとフォトニックソリューションの間の意味のあるパフォーマンスとパワー比較のためのカスタム投影モデルの開発が必要です。
「シリコンフォトニクスとCMOSテクノロジーの統合は、データセンターでのコスト{-効果的、高-帯域幅の相互接続を達成するための重要なマイルストーンを表しています。最近のデモンストレーションは、CO -パッケージ化されたオプティクスが、伝統的なモジュールに比べて電力消費量を最大50％削減するためのCO -パッケージ化されたオプティクスが、電力消費量を50％減らすことができることを示しています。
- Miller、dab、 "attojoule optoelectronics for low -エネルギー情報処理と通信、" Journal of Lightwave Technology、2017
これらの予測は、電子ドメインとフォトニックドメインの両方で継続的なイノベーションの重要性を強調しています。パスフォワードには、個々のコンポーネントの漸進的な改善だけでなく、新しいテクノロジーの機能を完全に活用するためにシステムアーキテクチャの基本的な再考が必要です。
帯域幅の成長
電力削減の傾向
System -レベルの意味
ネットワークトポロジ
ハイブリッドアーキテクチャにより、より高い基数スイッチを備えたフラットネットワークトポロジが可能になり、平均ホップ数とパス長の変動の両方が減少します。
パフォーマンスメトリック
新しい評価メトリックは、距離-依存するエネルギー効率、静的パワー、およびドメイン変換オーバーヘッドを考慮する必要があります。
システム設計
ハイブリッドアーキテクチャのために、物理レイアウト戦略、ルーティングアルゴリズム、トラフィック管理ポリシーを再考する必要があります。
ハイブリッド電子-フォトニックスイッチングアーキテクチャへの移行は、システムの設計と最適化に大きな影響を与えます。ネットワークアーキテクトは、レイテンシや帯域幅などの従来のメトリックだけでなく、距離-依存性エネルギー効率、静的対動的消費電力、ドメイン変換のオーバーヘッドも含むマルチ-次元最適化空間を考慮する必要があります。
実用的な展開の特典
光学相互接続によって有効になるより柔軟な物理レイアウト
エネルギー効率が向上することにより、冷却要件を削減しました
電気ピン数を減らすことにより、簡略化されたPCB設計
レイテンシ-敏感なワークロードのアプリケーションパフォーマンス予測可能性の向上
人工知能から科学的コンピューティングに至るまでのアプリケーションによって駆動されるデータセンターの接続要件が引き続きエスカレートするにつれて、効率的でスケーラブルな相互接続ソリューションの必要性がますます差し迫っています。
統合が比較に近づきます
| 統合アプローチ | 利点 | 課題 | 成熟 |
|---|---|---|---|
| モノリシック統合 | ドメイン間の緊密な結合 最小限の寄生効果 最高の潜在的なパフォーマンス |
デバイスの最適化の妥協 複雑な製造プロセス より低い収量 |
60% |
| 不均一な統合 | 独立した最適化 コンポーネントのパフォーマンスが高くなります より良い利回り |
パッケージングの複雑さ ドメイン境界オーバーヘッド より高いシステムコスト |
80% |
| co -パッケージ光学 | パフォーマンスとコストのバランス 寄生効果の製造を減少させました |
熱管理 アラインメントの課題 複雑さのテスト |
70% |
ハイブリッドシステムの熱管理要件は、複雑さの別の層を追加します。フォトニックデバイスはしばしば強い温度依存性を示し、安定した動作を維持するために慎重な熱設計が必要です。この熱感度は、高-パフォーマンスの電子スイッチング回路からの重要な熱生成とバランスをとる必要があり、洗練された熱管理戦略を必要とします。
パフォーマンスメトリックとベンチマーク
キー評価メトリック
遅延
ドメイン変換オーバーヘッドと伝播遅延を含む
帯域幅
集計およびPer -ポートスループット機能
エネルギー効率
動的および静的消費電力メトリック
信頼性
ビットエラー率とフォールトトレランス機能
ハイブリッド電子-フォトニックスイッチのパフォーマンスを評価するには、これらのシステムのユニークな特性をキャプチャする新しいメトリックとベンチマーク方法論が必要です。集約帯域幅やポート-から-ポートレイテンシなどの従来のメトリックは重要なままですが、ハイブリッドアーキテクチャの不均一な性質を反映する追加の測定で補充する必要があります。
エネルギー効率のメトリックは、予想されるトラフィックパターンと利用レベルに基づいて適切な重み付けにより、動的スイッチングエネルギーと静的消費電力の両方を考慮する必要があります。
ワークロード-評価評価
ハイブリッドシステムのエネルギー効率の距離-依存性の性質には、ワークロード-認識パフォーマンス評価が必要です。主に局所的な通信パターンを備えたアプリケーションは、光学相互接続の利益が限られている可能性がありますが、頻繁に長い-距離データ転送を必要とするものは、大幅なエネルギー節約を達成できます。
信頼性と可用性メトリックは、ハイブリッドシステムのコンテキストでの再考も必要です。光学コンポーネントは、純粋に電子システムのものとは異なる新しい障害モードと劣化メカニズムを導入します。ビットエラー率は、一般に最適な条件下での光リンクの場合は低くなりますが、環境要因やコンポーネントの老化により敏感になります。
システム設計には、ハイブリッドアーキテクチャのパフォーマンスの利点を維持しながら、適切な冗長性とエラー回復メカニズムを組み込む必要があります。