400G 光モジュール: 主な機能と利点

 

PAM4 の現実

 

ここで私が理解するのに時間がかかったことがあります。PAM4 は単に「より優れた NRZ」ではないということです。これは根本的に異なるシグナル インテグリティの課題です。

NRZ では 2 つの振幅レベルが得られました。高いか低いか。 1 かゼロ。クリーンでシンプルで、レーンあたり 25G まで美しく動作しました。しかし、業界が NRZ を 50G に推し進めようとしたとき、物理学は協力しなくなりました。アイダイアグラムは崩壊しました。イコライゼーションが追いつきませんでした。このような速度で信号の整合性を維持できるコンポーネントの製造コストは、大量導入には法外な額になりました。

PAM4 は、4 つの振幅レベルにわたってシンボルごとに 2 ビットをエンコードすることで速度の問題を解決しました。同じボーレートで 2 倍のデータ。実にエレガントだ。ただし、受信機は 2 つではなく 4 つの電圧レベルを区別する必要があり、それらのレベル間の間隔は NRZ の場合のおよそ 3 分の 1 になります。計算すると、信号対雑音比が約 10dB 悪化することがわかります。{6}}-これは丸め誤差ではありません。-リンクが機能するか機能しないかの違いです。

すべての 400G トランシーバーが前方誤り訂正機能を組み込んで出荷されるのはこのためです。オプションではありません。 「長距離の場合には推奨されません」。必須。リード-ソロモン RS(544,514) FEC-規格で KP4 と呼ばれるものは、受信機が再送信せずにエラーを訂正できるようにするパリティ シンボルを追加します。これがないと、PAM4 リンクは使用できなくなります。

 

フォームファクターポリティクス

 

私は、思い出せないほど多くの QSFP{0}}DD と OSFP の議論に参加してきました。

QSFP-DD 陣営は下位互換性を主張しています。そして彼らは正しいです。-QSFP28 モジュールを QSFP DD ケージに差し込むことができます-。そうすれば機能します。既存の 100G 光ファイバーへの投資が行き詰まるわけではありません。フォームファクタは 18.35mm x 89.4mm で、1U のフロントパネルに 36 個のポートを搭載できるほどコンパクトです。すべてのスロットに装着すると、ラック ユニットあたり 14.4 テラビットになります。増分アップグレードを行うオペレーターにとって、これは重要です。

OSFP 党派はサーマルヘッドルームを備えて対抗します。より大きなフォーム ファクター -22.58 mm x 107.8 mm- により、放熱のための表面積が広がり、QSFP-DD では実現できない統合ヒートシンク設計が可能になります。電力エンベロープは 15 ～ 20 W まで拡張されますが、QSFP-DD の上限は 12 ～ 15 W です。コヒーレント光学系を実行している場合、または 800G を計画している場合、その熱マージンが重要になります。

NVIDIA は、Quantum-2 InfiniBand 向けに OSFP を導入しました。アリスタは両方を提供します。シスコとジュニパーのエンタープライズ スイッチング向けリーン QSFP-DD。市場はまだ勝者を選んでいないし、現時点でもおそらく選ばれないだろう。両方のフォーム ファクターが共存し、異なる優先順位で異なるセグメントにサービスを提供します。

実際に何があなたの選択を決定するのでしょうか？通常は、すでにコミットしているスイッチ プラットフォームです。

 

 

DR4 と FR4 の実際の意味

 

命名法はパターンに従っていますが、そのパターンには常に人々をつまずかせる例外があります。

DR4シングルモード ファイバーで 500 メートルの到達距離を表します。{{1}{10}} 4 つの並列光レーン、それぞれが 1310nm の波長で 100G PAM4 を実行します。 MPO-12 コネクタ。 DR4 の利点はブレークアウト機能です。ファンアウト ケーブルを使用して、1 つのモジュールを 4 つの独立した 100G-DR リンクに分割できます。 400G スパイン スイッチをアップグレードする準備ができていない 100G リーフ ポートに接続する場合に便利です。

FR44 つの 100G 信号を単一のファイバー ペアに波長多重化することで、到達距離を 2 キロメートルまで延長します。- 1271、1291、1311、および 1331nm の CWDM4 間隔。 MPO の代わりにデュプレックス LC コネクタ。ケーブル配線がすっきりし、到達距離が長くなり、コストが高くなります。

SR8マルチモード ファイバー シナリオを処理します-OM4 上で 8 つの並列 50G レーン、最大 100 メートル-。 MPO-16 コネクタ。主に、マルチモード インフラストラクチャがすでに存在する短い ToR からサーバーへの接続に関連します。

価格差はかなり大きい。 DR4 モジュールのボリュームは 400 ～ 500 ドルになる可能性があります。 FR4は500～600ドルに向けて上昇している。 LR4で10km到達？その倍かそれ以上です。最長 300 メートルの実行環境に LR4 を指定すると、運用上のメリットがゼロになり、お金が無駄になります。

 

DSP税

 

すべての 400G 光モジュールにはデジタル信号プロセッサが含まれています。ひとつひとつ。 DSP は、フィードフォワード等化、判定フィードバック等化、クロックとデータの回復、FEC エンコード/デコードを処理します。{3}コヒーレント モジュールでは、波長分散補償と偏波モード分散管理を追加します。

DSP も電力を消費します。たくさんあります。

一般的な 400G トランシーバーでは、DSP はモジュールの総消費電力の半分以上を消費します。 10W モジュールでは、5 ～ 6W が信号処理に直接使用される可能性があります。 Marvell、Broadcom、および旧 Inphi (現在は Marvell の一部) は、プロセス ノードの縮小に競い合ってきました。7nm から 5nm への移行により、約 20% の電力削減が実現しました。しかし、PAM4 が機能するにはかなりの計算オーバーヘッドが必要であるという根本的な現実を回避することはできません。

業界の一部では、リニア プラガブル光-DSP をスイッチ ASIC 自体に移動し、よりシンプルで低消費電力の光を実行する-ことを推進しています。この議論は理論的には理にかなっています。反論には、モジュールの相互運用性と、標準化された DSP インターフェイスなしで異なるスイッチ プラットフォーム間で光学系を認定するという現実的な悪夢が含まれます。この議論は何年も続くだろう。

 

 

シリコンフォトニクスが経済を変える

 

Intel と Cisco は早くからシリコン フォトニクスに賭けており、その賭けは報われています。

従来のディスクリート光学系は手作業で組み立てる必要がありました。あるファブからのレーザーチップ、別のファブからの変調器、3番目のファブからの光検出器がすべて、エレガントにスケールアップできない精密ダンスで結合されます。シリコン フォトニクスは、標準の CMOS 製造プロセスを使用して、光学エンジンの大部分を単一のシリコン ダイ上に統合します。

複数のベンダーから現在出荷されている 400G-DR4 シリコン フォトニクス モジュールは、ハイパースケール展開に魅力的な経済性を提供します。消費電力が低下-一部のシリコン フォトニクス DR4 モジュールは 7nm DSP で 8W 未満に達します。製造はより予測可能に拡張されます。歩留まりの向上はコスト削減に直結します。

獲物は？シリコンはひどいレーザーを生成します。間接バンドギャップ物理学は廃止されていません。そのため、「シリコン フォトニクス」モジュールでも、通常は外部の InP または GaAs ゲイン チップを使用し、シリコン プラットフォームにハイブリッドで統合されています。-これは賢いエンジニアリングですが、用語は実際に起こっていることを若干誇張しています。

アリババは、2020 年からシリコン フォトニクス 400G DR4 を導入しました。インテルは、データ通信用シリコン フォトニクス トランシーバーの市場シェア 60% を主張しています。傾向線は、このテクノロジーが引き続きシェアを拡大​​することを支持します。

 

熱密度は今や誰もが抱える問題です

 

フル装備の 400G スイッチは、10 年前には考えられなかったほどの熱を発生します。

数値を実行します。それぞれ 10 ～ 12 W の 400G- DR4 モジュールの 32 ポート。これは、スイッチ ASIC、メモリ、ファン、電力変換のオーバーヘッドを考慮する前に、トランシーバーだけで 320 ～ 384 W になります。データセンターの列の熱密度は 5 年間で約 2 倍になりました。設備エンジニアはこれを不満に思っています。

OSFP のより大きなフォーム ファクタは、より多くの表面積、より優れたエアフロー チャネル、統合されたヒートシンク設計に役立ちます。{0} QSFP-DD モジュールは、ホスト機器の熱アーキテクチャに大きく依存します。どちらのアプローチも間違いではありませんが、持続的な高帯域幅ワークロード向けに構築する場合は、熱に関する考慮事項がフォーム ファクタの決定に必ず役立ちます。-

このような密度では、空冷は実用的な限界に近づいています。液体冷却-スイッチ ASIC のコールド プレート、ラック全体が浸漬される可能性がある-は、珍しいものから単なる高価なものへと移行しました。必要なインフラストラクチャとメンテナンスの専門知識は、まだ導入が遅れています。

 

ブレイクアウトの柔軟性

 

さらに注目に値する機能の 1 つです。400G モジュールはブレークアウト構成で動作し、複数の低レート インターフェースとして表示できます。-

400G-DR4 は 4 つの 100G- DR リンクにブレークアウトできます。 MPO-12 ～ 4xLC デュプレックス ブレークアウト ハーネスは、単一の DR4 ポートを 4 つの独立した SMF ペアにファンアウトします。ネットワーク アーキテクトは、混合速度環境や段階的なアップグレードに対するこの柔軟性を気に入っています。

ただし、構造化されたケーブル配線の影響は現実のものです。初日からブレイクアウト シナリオを計画していない場合は、導入から 6 か月以内にアドホック パッチ ケーブルを実行することになります。-ファイバー プラントの設計では、これらの使用例に積極的に対応する必要があります。

 

コネクタの衛生状態は思っている以上に重要です

 

辛い経験から学んだこと:

DR4 および SR8 モジュールの MPO コネクタは、APC (角度付き物理接触) 研磨を使用しています。 FR4 および LR4 の LC コネクタは通常、UPC (ウルトラ フィジカル コンタクト) です。 APC コネクタと UPC コネクタを混合すると、-驚くほど簡単に誤って実行してしまいます-。20dB 以上のリターン ロスが発生し、トラブルシューティング チームが混乱する断続的なエラーが発生します。色分けには理由があります。APC は緑、UPC は青です。

モジュールの EEPROM 互換性は、ベンダーが認識しているよりも複雑です。あるスイッチ モデルでは完全に動作する「互換性のある」サードパーティ製トランシーバでも、同じ ASIC でファームウェアが異なる別のスイッチではエラーが発生する可能性があります。-調達プロセスに認定時間を組み込みます。

温度はスペックシートが示す以上に重要です。これらのモジュールは通常、ケース温度が 70 度までと定格されていますが、その上限に達する前にパフォーマンスが低下します。低温に保つと、より一貫した動作が得られます。

 

800G が適している場所

要件や予算が異なる AI/ML 環境では、800G、最終的には 1.6T が主流となるでしょう。ほとんどのネットワークは、すぐにその曲線を追う必要はありません。

 

結論

 

400G 光モジュールは最先端のインフラストラクチャから主流のインフラストラクチャに移行しました。 -QSFP-DD と OSFP、パラレルと WDM、シリコン フォトニクスとディスクリート-といったテクノロジーの決定には、3 ～ 4 年前と同じリスクは伴いません。

フォームファクタをスイッチプラットフォーム戦略に合わせてください。最悪の場合の妄想ではなく、実際の到達距離要件に基づいてトランシーバーのタイプを選択してください。-オーバースペックにしないでください。-熱マージンを組み込みます。ブレイクアウトシナリオに備えてファイバープラントを計画します。また、MPO コネクタを清潔に保ちます。

今後数年間で段階的な改善がもたらされ、{0}低消費電力 DSP、シリコン フォトニクスの歩留まり向上、おそらくリニア プラガブル アーキテクチャに関する何らかの動きが起こるでしょう。しかし、基礎的なテクノロジー プラットフォームは安定しました。. 400G は今や単なるインフラストラクチャです。ある程度の自信を持って計画を立てることができるタイプです。

100G の混乱と 400G の不確実性が何年も続いた後、その予測可能性は重要な意味を持ちます。