データセンターに適した 400G 光モジュール

 

データセンターの世界が一瞬落ち着くかもしれないと思うたびに、誰かが入ってきて次のように言います。400Gどこもまだ？」まるで、ネットワークの半分をリッピングして置き換えることは、電源タップを交換するのと同じくらい簡単であるかのようです。しかし、はい、- 400Gはここにあり、好むと好まざるにかかわらず、私たちはそれに対処しています。

 

 

-それほど-直線的ではないアップグレード パス

 

人々はネットワーク速度について、「10G → 40G → 100G → 400G → 800G」のように、予測どおりに拡大するかのように話します。
実際、午前 3 時にリンク LED が正常に点滅することを望みながらこれらの機器を接続しているときの気分は、まったく違います。

2019 年の展開を今でも覚えています。アイデア400G バックボーンでは、初期の QSFP-DD サーマルを誰も信頼していなかったので、チームの半数が床を見つめていました。モジュールは、人生の選択に疑問を抱かせるほど熱くなりました。ある男性は、実際に監視するためだけにサーマルカメラを何週間も机の上に置き続けていました。

とにかく-はい、400G は重要です。しかし、マーケティング スライドにそう記載されているからではありません。トラフィックの急増はもはや誰も驚かないので、これは重要です。 AI ワークロードは、従来の東西トラフィック パターンを準備運動のように見せかけ、帯域幅を使い果たしています。{6}

 

フォーマット、または「予算を無駄にしない四角形はどれですか?」

 

物理ハードウェアを十分に長く扱っていると、最終的にはモジュールの形状について強い意見を抱くようになります。私は個人的に CFP8 が好きではありませんでした。大きすぎます。誰かが VHS テープを溶かしてトランシーバーにしたような気分です。バックボーン ルータのアップグレードでいくつかを使用しましたが、それらは十分に暖かく動作したため、施設がその通路の通気を改善するまで実際に残りのラインカードの使用を延期しました。

QSFP-DD が「大丈夫、これでいきましょう」という選択肢になったのは主にベンダーがそれに協力したためです。 OSFP も優れています - 私は実際にはサーマルのほうが好きです - しかし、スイッチ ベンダーが協力していない限り、それを使用する必要はありません。データセンターのインフラストラクチャは 40% がテクノロジー、60% が政治です。あなたの部品表が 3 度目に拒否されるまで、誰もこれを教えてくれません。

 

 

マルチモードとシングル-モード（そして、私たち皆が存在しないふりをしているファイバーの墓場）

 

私はデータセンターの監査を十分に行ってきたので、次のような普遍的な真実を知ることができました。ファイバープラントは、文書で主張されているほどクリーンではありません。
半分の場合、ラベルは現実と一致しません。パッチパネルには、過去 10 年間の謎が隠されていることがあります。

これは 400G に絶対に影響します。

SR8 をマルチモードで使用しますか?紙の上ではすばらしい -。現実の世界では、MPO コネクタを間違った方向に吹き飛ばすと、突然レーン 6 が死んだように見えます。午後丸々コネクタの清掃に費やしたことがありますが、最終的に設置担当者がラックのドアを閉めようとしてケーブルを挟んでいたことに気づきました。あれは楽しかったです。

DR4、FR4、LR4 - はい、はい、距離はパンフレットに記載されています。しかし、本当の差別化要因は価格です。当社の顧客の 1 つは、単に光学系の予算が調達制限を超えて爆発的に増加したため、計画していた DR4 リンクの半分を AOC に切り替えました。実用性は常にエレガントさを上回ります。

 

電力、熱、その他手を火傷するもの

 

率直に言わせてください：400Gは熱くなります。
「温かい」ではない。
「少し焼けた」ではありません。
稼働中のスイッチから取り出したばかりのモジュールを初めて誰かがあなたに手渡したとき、あなたは自分の友情を再考するほど熱くなります。

現在、一部のベンダーはサブ 8W 光学系を主張しています。音を立てずに触ることができたら信じます。

冷却は実際のアーキテクチャ上の決定になります。ある導入では、1RU スイッチの最後の 8 ポートに LR4 を実装した後、最もホットな通路が 4 度近く上昇しました。施設はネットワークのせいにした。ネットワークが原因の施設。結局、2 つの PDU を移動し、ラックを回転するだけで済みました。問題は消え去り、誰もそれについて再び話しませんでした。

 

 

テクノロジーの飛躍 (PAM4 は魔法ではありません。ただ… 素晴らしいものです)

 

NRZ から PAM4 への移行は、まるで大革命であるかのように話題になります。そうではありませんでした。これは、同じパイプにさらに多くのビットを詰め込むための最も苦痛の少ない方法でした。

PAM4がうるさいです。
うるさいです。
それには、より優れた DSP、より優れた PCB、その他すべてのものが必要です。

しかし、それは機能し、ベンダーがイコライゼーションの問題を解決すると、実際的な問題はほとんど解消されました。たいてい。ファイバーが再終端されるまで全距離でロックを拒否する DR4 モジュールを今でも見かけます。-理由はわかりません。手直し後動作しました。光学は時々こうなります。

 

実際に現場で目にするモジュール

 

スライド資料 - ではなく、実際のデータセンター - で時間を過ごしたことがある場合は、おそらく次のような頻度でこれらに遭遇したことがあるでしょう。

400G-SR8

安い（っぽい）、予想通り。磁石のようにホコリを集めるMPOコネクタ。短期の実行にも、ラボにも適しています。適切な掃除道具を持っていない場合はダメです。

400G-DR4

これを一番よく見かけます。典型的な「数百メートルだがキロメートルではない」ユースケースに適合します。新しい導管の掘削が市の許可によってブロックされたため、DR4 を使用して 2 つの建物間のリンクを拡張したことがあります。場合によっては、最も簡単な解決策は、より高価な光学部品を購入することです。

400G-FR4

より優れた到達距離、CWDM レーン、デュアル LC。私はこれらが好きですが、値段が高いです。ほとんどの企業は、どうしても 2km が必要な場合を除いて、それらには手を出しません。

400G-LR4

これらは消火器のようなものです。重要で高価なので、不要になることを願います。

他のものはすべて何らかの形でどこかに存在しますが、通信-の負荷が高い環境以外で PLR4 や ER8 に興奮している人を見たことがありません。

 

誰も議論したくないお金の部分

 

「400G」と聞くと調達部門は緊張します。
明らかに緊張しているように。

SR8ならお買い得ですよ。 DR4 では、あなたをえぐり出さないベンダーがいる場合はなおさらです。しかし、LR 光学製品は依然として十分なコストがかかるため、大量に注文する前に躊躇してしまいます。

AOCとDAC?トップオブラックの場合、またはスイッチが同じラック内で互いに抱き合っている場合は、- を使用してください。ある導入では、リーフ層全体が非常に近くに配置され、最長ケーブルが 4 メートルだったので、DAC のおかげで数千ドルを節約できました。また、AOC が不十分なファイバー計画に対する応急処置となる場合もあります。{6}}

 

 

導入の現実 (カンファレンスで聞くようなクリーンなバージョンではありません)

 

これを短くしておきます。
400G では、繊維プラントのあらゆる弱点が明らかになります。
そしてあなたのラベル付け。
そしておそらくあなたのドキュメントも。

私は見たことがあります:

2015 年以降、相互接続されたパネルに誤ったラベルが貼られている-

MPO カセットを逆向きに取り付けた場合

クリーナーの不適切な使用 (はい、これは起こります)

誰かが間違った半径でケーブルを曲げたために光学系が故障しました

これらはいずれもベンダーのウェビナーには現れません。しかし、実際の展開では、こうした小さな不完全さが週末全体を食いつぶしてしまいます。

 

そして、その 800G の話について…

 

来ますよ。もちろん。しかし、800G がすぐに 400G に「置き換わる」という考えはナンセンスです。ほとんどの企業は依然として、消滅を拒否する 10G アイランドを抱えています。ハイパースケーラーが急速に動くのは、テクノロジーが望んでいるからではなく、規模がそれを要求しているからです。

400G は何年も残ります。率直に言って、既存のインフラストラクチャに関連する金額がそれを保証するものにすぎません。

 

研究室に戻る前の最後のメモ

 

400G はエレガントではありません。無痛ではありません。それは、人々が新しいハードウェアの発表を見たときに想像するような、きれいで光沢のあるアップグレードではありません。

しかし、それはうまくいきます。そして、ファイバーによる発汗、熱、時折発生する謎のリンクのフラップを含む最初の導入 - を乗り越えると、最終的には業界がどれほど遠くまで到達したかを実感することになります。

新しいビルドで 400G を計画している場合は問題ありません。退屈なことだけは忘れないでください。クリーニング キット、適切なエアフロー、MPO を正しく終了する方法を実際に知っている人、そして明確な理由もなくリンクが起動を拒否した場合に冷静でいられる人がチームに少なくとも 1 人いることです。

最後のレンズは、優れた光学部品よりも見つけるのが困難です。