800G トランシーバー テクノロジー: OSFP と QSFP-DD800

私たちがサポートしているネットワーキング チームは、先四半期に新しいスパイン スイッチに 32 個の QSFP{0}{1} DD800 DR8 モジュールを導入しました。すべてのポートは、標準ベンチ温度でのラボ BER テストに合格しました。次に、フルラック密度で本番トラフィックの 32 ポートすべてに負荷をかけたところ、ケースの温度は 40 分以内に 80 度を超えました。根本的な原因はモジュールの欠陥ではありませんでした。これは、データシートの各ポートの標準電力 14 W に基づいて構築された熱バジェットであり、持続的な負荷の下での実際の消費電力は 17 ～ 19 W の間でした。 32 ポート全体で 19 W のこのスイッチは、光学系だけで 600 ワットを超える熱を拒否しようとしていました。このようなギャップにより、800G トランシーバー テクノロジの選択はスペック シートの検討ではなく、システム エンジニアリングの問題になります。

 

根本的な原因はモジュールの欠陥ではありませんでした。これは、データシートの各ポートの標準電力 14 W に基づいて構築された熱バジェットであり、持続的な負荷の下での実際の消費電力は 17 ～ 19 W の間でした。 32 ポート全体で 19 W のこのスイッチは、光学系だけで 600 ワットを超える熱を拒否しようとしていました。このようなギャップにより、800G トランシーバー テクノロジの選択はスペック シートの検討ではなく、システム エンジニアリングの問題になります。

 

導入しているスイッチ プラットフォーム、冷却インフラストラクチャの構築方法、ファブリックで InfiniBand と Ethernet のどちらを実行しているか、ロードマップに 30-6 か月以内の 1.6T が含まれているかどうか。これらの変数はいずれもモジュール データシートには記載されておらず、それらすべてが、OSFP または QSFP-DD800 が導入に適したフォーム ファクタであるかどうかを決定します。

 

 

熱ヘッドルーム: スペックシートとスイッチシャーシの間のギャップ

 

従来の業界の見解は、筐体が物理的に大きいため、OSFP はより優れた熱性能を提供するというものでした。 OSFP シェルの高さ 13.13mm と QSFP-DD の 8.5mm は、ヒートシンクの接触面積が約 2 倍になることを意味し、25W 以上の電力を供給する 800G コヒーレント光の場合、その余分な体積は優先事項ではなく、厳しい要件となります。

モジュール-レベルのパッケージングではなく、{0}}システム レベルの冷却に注目すると、状況は変わります。シスコは、1RU 25.6T QSFP-DD800 シャーシの公開デモンストレーションを実行しました。これは、すべてのポートでモジュールあたり 30W を消費し、現在の DR8 または FR4 トランシーバの消費電力をはるかに上回ります ([シスコ]）。適切なケージ ヒートシンクの形状とファン曲線設計により、QSFP-DD800 エンベロープは今日の電力レベルに余裕を持って対応します。明日に対応できるかどうかは、コヒーレント プラガブルと LPO が電力曲線のどこに位置するかによって決まり、ほとんどの比較記事では分析のその部分が省略されています。

 

当社は認定プロセス中に熱ディレーティング検証を通じて両方のフォーム ファクタを実行し、Arista 7800- シリーズや Cisco 8000- シリーズ シャーシなどのプラットフォーム上の全ポート数でテストします。私たちの経験では、負荷時のケース温度は、モジュールが OSFP か QSFP-DD かということよりも、スイッチ ベンダーのエアフロー アーキテクチャとより強く相関しています。換気の悪いシャーシに搭載された OSFP モジュールは、高出力光学用に設計されたシャーシに搭載された QSFP-DD800 よりも高温になる可能性があります。私たちはこれを直接見てきました。モジュールの電力がラック全体の熱計画にどのような影響を与えるかについて詳しくは、[光トランシーバの消費電力傾向の分析] で数字について詳しく説明します。

 

OSFP の上位バリアント トラップ

 

800G OSFP モジュールを初めて注文する調達チームは通常、光タイプ (DR8、SR8、FR4) とリーチに焦点を当てます。機械的なバリアントが発注書のチェックリストに載ることはほとんどありませんが、ここで高額なミスが発生します。 OSFP は 3 つの物理形式で出荷されます。スイッチ ケージ用の統合アルミニウム冷却フィンを備えたフィン付きトップ（IHS）、NIC ライディング ヒートシンク用に設計された滑らかな表面を備えたフラット トップ（RHS）、および特定の Cisco プラットフォームで見られるハイブリッドとしてのクローズド トップです。これらは交換可能ではありません。

 

 

互換性は光学的ではなく機械的です。フィン付きトップを備えた 800G OSFP とフラットトップを備えた 800G OSFP は、同一の光学仕様、同一の波長、同一の到達距離を持つことができ、フィン付きトップは物理的に ConnectX-7 ケージに収まりません。私たちは昨年、システム インテグレーターが RHS のみの NIC を含む展開用に 200 ユニットの Finned Top OSFP を注文した返品を処理しました。すべてのモジュールは光学的に完璧でした。どれも当てはまりません。

 

どの上位バリアントがどの機器で動作するかは、EEPROM コーディング プロセス中に検証されます。 FB-LINK の OSFP モジュールには、ターゲット スイッチまたは NIC に対して検証されたプラットフォーム-固有の構成が同梱されています。 Cisco、Arista、Juniper、Dell、HPE、NVIDIA/Mellanox ConnectX プラットフォームはすべて、テスト済みの互換性マトリックスに含まれています。ご注文時にシャーシのモデルとファームウェアのバージョンをご提供いただければ、物流上の問題が発生する前に、IHS/RHS に関する質問を解決いたします。

 

QSFP-DD800 は、マルチベンダー環境を管理する調達チームにとって構造的な利点があります。-物理的な形状は 1 つです。 [ から 4 世代前のすべての QSFP-DD ケージに適合します。QSFP28 ～ QSFP56 から 400G QSFP-DD]。最上位のバリアントの曖昧さはなく、ケージの互換性に関する脚注もありません。複数の施設にわたってスイッチ ベンダーが混在している組織では、その均一性によって調達エラーの可能性が大幅に減少します。

 

LPO がフォームファクターの方程式をどのように変えるか

 

2024 年まで、OSFP の電力に関する議論は単純でした。従来の 800G モジュール内の DSP はそれ自体で 6 ～ 8 ワットを消費し、モジュールの合計電力が 14 W を超え、場合によっては 20 W を超えることもありました。 OSFP のより高い熱上限はこれに対応しました。フル密度でのスパイン展開用に DSP{8}} ベースのモジュールを指定する場合、光バジェットではなく、ポートごとの熱許容量が最初にチェックされる制約です。{9}}

 

Linear Pluggable Optics はモジュールから DSP を完全に削除し、信号調整をスイッチ ASIC の SerDes に移します。

。その結果、LPO モジュールの消費電力は 8.5 W 未満となり、DSP- ベースの同等の電力の約半分です ([OIF]）。その電力レベルでは、QSFP-DD800 の 12W の熱上限は制約ではなくなり、適切になり始めます。これまで OSFP を支持してきた熱に関する議論は、LPO が登場すると大幅に弱まります。

 

現在、すべてのスイッチ プラットフォームがリニア ドライブ モードをサポートしているわけではなく、サポートしている数はベンダーの発表よりも少ないです。私たちは、LPO 動作のための特定の ASIC{1}} モジュールの組み合わせを検証しましたが、マーケティングで LPO 対応を謳っている一部のプラットフォームには、まだ安定したファームウェア サポートがありません。 AI ネットワーキング ファブリック用の 800G トランシーバー テクノロジーを評価していて、LPO が計画の一部である場合、問題は「モジュールが動作するかどうか」ではなく、「モジュールが特定のスイッチ シリコンとファームウェア リビジョンで動作するかどうか」です。私たちがテストしたプラットフォームに関しては、その答えが得られます。スイッチ モデルをお送りいただければ、LPO が実行可能かどうか、またはそのスロットに DSP{6}} ベースのモジュールが必要かどうかをお知らせいたします。

 

QSFP-DD800 の選択が間違っている場合

 

競合他社の記事はどれも「ニーズ次第です」で終わっています。ここからはさらに具体的に説明していきます。

 

QSFP-グリーンフィールドの NVIDIA InfiniBand NDR または XDR クラスタを構築している場合、DD800 は間違ったフォーム ファクタです。 ConnectX-7 および Quantum-2 エコシステムは OSFP を中心に設計されています。 HCA ポートは OSFP です。スイッチポートはOSFPです。 NVIDIA の認定光学系リストは主に OSFP です。 QSFP-DD をこのエコシステムに強制的に組み込むと、アダプターのオーバーヘッドが生じ、ベンダーのサポートが複雑になり、検証済みの導入トポロジーの範囲外になります。 FB-LINK の 800G OSFP モジュールは、まさにこの理由から、NVIDIA Quantum-2 NDR スイッチと ConnectX-7 アダプターでテストされています。InfiniBand AI トレーニング ファブリックは、相互運用性の曖昧さに対してまったく許容されません。

解決策は、コールド プレート冷却と組み合わせた OSFP-RHS モジュールです。このモジュールでは、モジュールの平らな表面がサーマル インターフェイス材料を介して液体ループと直接熱接触します。浸漬-冷却環境では、OSFP MSA ガイダンスに従って定格圧力が少なくとも 0.2 MPa で、誘電性流体に対する耐薬品性を備えた密閉ハウジングが必要です。-導入に液浸ラックが含まれる場合は、大量注文する前に、モジュール サプライヤーのシーリングと材料の仕様がこれらの要件を満たしていることを確認してください。

 

逆に、既存の 400G イーサネット リーフスパイン ファブリックをアップグレードする場合は、QSFP-DD800 が正しい選択であり、多くの場合明らかに優れています。 QSFP28、QSFP56、400G QSFP-DD ケージとの下位互換性により、段階的な移行中に同じシャーシ内で混合速度のポートを実行できます。-ケージの交換、アダプター カード、ケーブル プラントの変更は必要ありません。既存の QSFP- DD インフラストラクチャで Cisco または Arista イーサネット スイッチを実行しているエンタープライズ データセンターの場合、QSFP- DD800 モジュールは、先行投資を保護する移行パスを提供します。

 

800G の決定が 1.6T にとって何を意味するか

 

800G 光モジュール市場は今 10 年末までに約 3 倍に成長し、LPO と共同パッケージ化された光-が 2028 年までに 800G{4}} および-以上のポート設置の 30% 以上を占めると予想されます ([シノプシス経由のライトカウンティング]）。今日のフォームファクターの決定は、その軌道に沿うか、またはそれに反するかのいずれかになります。

 

OSFP には、段階的な機械的変更を加えて同じケージ インフラストラクチャに適合する OSFP{0}}XD および OSFP224 モジュールを介したアップグレード パスが定義されています。 QSFP-DD は QSFP112 に分岐し、独自の互換性に関する質問が導入されます。組織が 36 か月以内に 1.6T の導入を計画し、新しいスイッチ インフラストラクチャを構築する場合、OSFP は最も直接的な移行パスを提供します。既存の QSFP{9}}DD フリートを運用していて、1.6T が 2028 年以降の会話である場合、QSFP-DD800 は、大規模化すると費用がかかるミッドサイクルのフォームファクタ移行を回避します。-

 

FB-LINK は、SR8、DR8、2×DR4、2×FR4、および 2×LR4 バリアントの完全な 800G ポートフォリオにわたって、OSFP と QSFP- の両方の DD800 モジュールを提供します。当社のモジュールはプラットフォームで検証されており、特定のスイッチと NIC に合わせてコード化されており、ハードウェア構成に対するテスト レポートが付属しています。-大量注文を確定する前に、フォーム ファクターの互換性、熱適合性、または LPO サポートを確認する必要がある場合は、[私たちのエンジニアリングチームはその検証を無料で実行します].

 

---

 

2012 年以来、エンタープライズ、ハイパースケール、HPC 相互接続プロジェクトにわたる導入サポートに基づいて、FB-LINK の光エンジニアリングおよび技術営業チームによって作成されました。