データセンター相互接続 (DCI): ソリューションの概要

前四半期、顧客は 2 つの施設間の約 120 km のデータセンター相互接続 (DCI) リンクに電話をかけましたが、トラフィックが約 40 分続いた後も切断され続けました。彼らは距離に応じて評価されたコヒーレントモジュールを購入し、ダークファイバーは独自のもので、データシートは到達距離を約束していました。それでも何度も失敗しました。スパン番号を調べたところ、リンクの挿入損失は予算に対して 21 dB 近くにあり、コネクタの経年劣化と温度ドリフトを考慮すると、ヘッドルームはほとんど残りませんでした。モジュールはベンチで正常にテストされました。計画は間違っていました。

 

データセンターの相互接続が紙の上で行うべきことと、設置されたファイバー上で行うこととの間のギャップが、これらのプロジェクトのほとんどが実際に苦労しているところです。 2 つのサイトを接続する決定が難しい部分になることはほとんどありません。 5 年間のケーブル トレイの圧縮に耐えられる十分な余裕を持って、適切な範囲で、その接続に適した光学系を選択することがほとんどの場合必要です。-そのため、この概要では教科書の定義を省略し、アプリケーション エンジニアが距離、損失予算、現場で発生した問題などに基づいてソリューション クラスを検討する方法を説明します。

 

 

 

DCI リーチはスムーズに拡張されません。それはステップです。各ステップで支配的な制約が変化し、ある層では明らかに正しい解決策でも、次の層では無駄になるか実行不可能になります。マーケティングリーチではなく損失予算を考慮した場合に、層が実際にどのように分割されるかを次に示します。

 

距離階層	代表的なスパン	支配的な制約	光学クラスの到達点
キャンパス / サイト内-	～2km未満	ポートあたりのコスト、密度	グレー QSFP-DD / OSFP、DAC、AEC
メトロポイント-から-	～2～80km	ファイバー損失、単一スパン	グレー + 外部 DWDM、または 400ZR
地域別	～80～500km	OSNR、増幅、ROADM パス	ZR+​​ / OpenZR+、多くの場合ラインシステムを使用
長距離-/地域間-	～500～2,000km以上	蓄積ノイズ、分散	800ZR+ 高出力コヒーレント、トランスポンダ-

 

メトロバンドは最も大きな間違いが起こる場所です。400ZR-クラスのコヒーレントモジュール 見た目ドロップインのようなものです。-のOIF約 80 km のシングル スパン リンクに対して 400ZR を定義し、15 W 近くのモジュール電力エンベロープ内で約 60 Gbaud で約 16 QAM をターゲットとするため、QSFP-DD ケージ、OIF が公開した 400ZR 実装契約に従って。クリーンで短い地下鉄区間では、400ZR DCI リンクは真にエレガントなソリューションです。問題は、誰かが保証として「80 ～ 120 km」と読んだときに始まります。これは理想的な損失条件における上限であり、ファイバーを保証するものではありません。

 

メトロ帯域を越えると、地域領域に入ります。そこでは、ZR+ と OpenZR+ のバリアントにより、出力電力、より優れた前方誤り訂正、およびルーティングされた光ネットワークに必要なマルチレートの柔軟性が追加されます。-遠端では、現在の範囲の上限--800G コヒーレント プラットフォーム最大 800 Gbps で約 1,000 km、回線速度を下げた場合は約 2,000 km に到達します。これにより、単一のプラグイン可能なハイパースケール長距離 DCI が可能になります。-各層は独自のソリューションを獲得します。障害パターンは、ある層の光学系が次の層の距離に押し込まれることです。

 

 

距離階層の下には 3 つのソリューション クラスがあり、ほとんどの DCI アーキテクチャに関する議論は、実際には 3 つのうちのどれを標準化するかについての議論です。正直な比較は多次元であるため、散文に埋もれるのではなく、表にまとめられます。-

 

ソリューションクラス	最高のリーチフィット	コストとパワーの姿勢	運用の現実
グレー光学系 + 外部 DWDM / オープンラインシステム	メトロ、短い地域	モジュールコストは低いですが、ラインシステムを購入して実行する必要があります	ほとんどの可動部品。あなたはマルチプレクサ、アンプ、分散計画を所有しています
コヒーレント プラガブル (IP-over-DWDM、400ZR / 800ZR)	地下鉄から長距離-、ポイント-から-	ビットあたりのスペースと電力が最小。光学系はルーター内に組み込まれています	最も単純なトポロジ、最も困難な相互運用性のストーリー
トランスポンダー/薄型トランスポンダー	どれでも、特に。マルチ-サービスまたはROADM	ルーターから切り離された最高の設備投資	混合光ネットワーク全体での運用の一貫性

 

この最初の行は、ほぼすべてのメトロ構築で生じる DCI DWDM 対ダーク ファイバーの問題も解決します。ダーク ファイバーが自社のものであれば、独自の DWDM またはオープン ライン システムで点灯し、波長計画-家の中。代わりに点灯波長をリースしている場合、その回線システムは通信事業者に属し、光学系は通信事業者が提供するものの中に存在する必要があります。

 

業界での活発な議論は、コヒーレント プラガブルとトランスポンダの間で行われています。ハイパースケーラーは、IP-over-DWDM モデルの先駆者であり、400ZR と現在では 800ZR コヒーレント光をルーターの前面プレートに直接搭載して、別個のトランスポート シェルフのスペース、電力、コストを取り除き、大規模事業者はポイントツーポイント コヒーレント データセンター相互接続リンクのためにその道を歩み続けています（{6}データセンターの知識）。明確な結論は、プラグイン可能なコヒーレントがコストと設置面積の点で優れているということです。この結論は成り立ちますが、ほとんどのベンダーが無視している条件があります。つまり、エンドツーエンドで制御する単一スパン、ポイントツー-のリンクには完全に成り立ちます。通信サービス プロバイダーがその波長を、ROADM ノードを介してレガシー サービスと並行して、マルチベンダーの回線システム全体で伝送する必要がある場合、薄型トランスポンダーの運用の一貫性が、ルーターに光ファイバーを詰め込むという生の経済性を上回ることがよくあります。これを推進するマックスポンダー-対-のメカニズムについて説明します。マックスポンダとトランスポンダの故障;現時点で重要なのは、ほとんどの企業が実際に運営している環境では、「明白な」プラグイン可能な答えがまさに逆転するということです。

 

 

以下は、選択した DCI 光トランシーバーが実際のファイバーとの接触に耐えられるかどうかを決定する変数です。リンクロスバジェット、箱に印刷されているリーチではありません。コヒーレント インターフェイスは、DSP が信号をきれいに復元できなくなる前に、有限量の光損失とノイズを許容します。その許容範囲が標準で実際に指定されています。 OIF は、増幅されたノイズ-制限されたリンクと増幅されていない損失-が制限されたリンクという 2 つの異なるリンク タイプに対して 400ZR を書き込みました。これはまさに、同じモジュールがどのレジームに属しているかによって動作が異なるためです（OpenZR+ MSA）。これを現場用語に置き換えると、クリーンなスプライスと優れたコネクタを備えた増幅されていない 75 km スパンは十分に予算内に収まる可能性がありますが、12 枚のパッチ パネル、老朽化し​​た ODF、および 2 つの追加の嵌合ペアを備えた「短い」60 km スパンは予算を超え、断続的に障害が発生する可能性があります。

 

 

したがって、メトロまたは地域の DCI リンクにとって重要な計画数値は、キロメートルの数値ではなく、マージンを含めて測定されたスパン損失です。一貫した展開を行う前の標準的な推奨事項は、OTDR と損失の特性評価サンプルではなくすべてのセグメントに加えて、コネクタの経年劣化と温度ドリフトに対するマージンを考慮します。これをスキップする高価なバージョンは、このページの冒頭から 120 km のリンクです。廉価版はパワーメーター付きで2時間です。カタログ化されたリーチと展開可能なリーチの間のギャップがプロジェクトを静かに決定する場所がもう 1 つあります。

 

 

「400ZR」は特定のものを意味します。 「ZR+」はそうでないことがよくあります。ベース 400ZR インターフェイスは単一の相互運用可能な OIF 実装協定であり、異なるメーカーの 2 つの準拠モジュールが指定されたスパンにわたって相互に通信します。その後、「ZR+」は、高出力、長距離、マルチレートのコヒーレント プラガブルの総称として成長し、現在では、真に相互運用可能な OpenZR+ 実装から、独自の回線システムとのみ相互運用するベンダー固有の拡張機能まで、あらゆるものをカバーしています。-いくつかの異なる技術定義が同じ 2 文字の接尾辞の下で伝えられるため、調達チームはリンクを拒否する 2 つの「ZR+」モジュールを作成することになります。

 

ラベルを答えではなく質問として扱います。 ZR+​​ 上に構築されたクロスベンダーの地域データセンター相互接続に取り組む前に、次の 3 つのことを確認してください。各モジュールが主張する正確な実装合意、両端が同じ FEC と変調プロファイルを共有しているかどうか、回線システムの増幅とフィルタリングの計画がモジュールの期待と一致しているかどうかです。これらが揃うと、ZR+ は約束するリーチの拡大を実現します。そうでない場合は、それぞれが単独で完全に動作する互換性のない光学部品を 2 つ購入したことになります。技術的には何も壊れていないため、これは相互接続カタログ全体の中で最もイライラする故障モードです。

 

 

コヒーレント光モジュールは高温になるため、数ワット余分に消費するメトロ DCI モジュールは、ラック レベルでの丸め誤差にはなりません。 400ZR が約 15 W エンベロープに制限されている理由は、負荷の高いルーターの QSFP-DD ケージ内で耐えられるようにするためです。この熱天井は規格全体を形成しており、OIF が電力目標を設定する際に明示的に示した制約です。グレーのクライアント光学系用にプロビジョニングされたフェイスプレートに高出力コヒーレント モジュールを積み重ねると、その冷却設計を超えてケージを押し込むことができます。ルーター ベンダーが、サードパーティ製の高出力コヒーレント モジュールや ZR+ モジュールがホスト機器に熱的損傷を引き起こす可能性があり、その責任はそれらを設置したオペレータにあると警告しているのはまさにこのためです。-

当社では、すべてのコヒーレントかつ高速のモジュール設計が、85 度で 2,000 時間持続するサーマル サイクル認定を受けています。レーザー バイアス-電流ドリフトが主要な経年劣化指標として追跡され、ユニットは固定ドリフトしきい値を超えてラインから引き抜かれます。選択の際に表示される数値は、ホストのケージあたりの熱制限に対するモジュールの実電力クラスです。-これは、800G 密度では、800ZR または ZR+ データセンターの相互接続が最小ワット数に最大の到達距離を詰め込み、16 W と 22 W のコヒーレント モジュールの差が、ラックがエンベロープ内に留まるか、午前 2 時に温度アラームが作動するかを決定するためです。{7}}

 

 

光学系が異なっていても、根本原因は同じです。弊社独自の RMA とフィールド サポートの記録を基に、サイト間導入における「リンクが表示されない」チケットのほとんどを説明するパターンと、それぞれを実際に解決する方法を示します。-

 

1 つ目は、キャンパス相互接続の短端にある長距離パッシブ銅線です。{0}かつてある顧客は、古いラック レイアウトに基づいて 3 メートルの長さの 800G パッシブ DAC アセンブリを注文しました。これらのポートの 60% 以上でリンク トレーニングが失敗しました。これは、ケーブルに欠陥があるためではなく、レーンあたり 112G の銅線損失がそこまで伝わらないためです。 3 ～ 7 メートルのギャップにアクティブな電気ケーブルと、それを越える光モジュールにより、1 週間以内に導入が安定しました。

 

2つ目は汚染であり、それは静かなる多数派です。高速リンク障害の 3 分の 2- の範囲では、トランシーバーの障害ではなく、コネクタや端面の汚染にまで遡って調査します。-最近の 40 個の 400G モジュールが障害の疑いとして戻ってきましたが、すべてのモジュールが回帰テストをクリーンにパスしました。真の原因はトランク-ケーブル端-面に付着した粒子でした。ファイバー顕微鏡と適切なクリーニング キットを使用すると、モジュールのアップグレードよりも多くの停止を防ぐことができます。

 

3 番目と 4 番目は、このページですでに挙げた計画上の誤りです。測定された損失バジェットではなくネームプレートのキロメートルによってコヒーレント リンクのサイズを決定し、ベースラインの 400ZR 光を、決して指定されていないマルチホップ ROADM ネットワークにドロップしました。-どちらもラボのポイントツーポイント テストでは問題なく見えますが、実際の光路に接触すると失敗します。--光学に取り組む前に、構造化された方法を知りたい場合は、光ネットワーク計画ガイド.

 

 

あなたの状況	賢明なデフォルト	注意してください
80 km 未満の 2 つのサイト、独自のダーク ファイバー、ポイント-}-	400ZR コヒーレント プラガブル、IP-over-DWDM	測定されたスパン損失と予算の比較
80～500 km、地点から-地点まで、両端をコントロールするのはあなたです	ZR+​​ / OpenZR+ コヒーレントなプラガブル、増幅される可能性あり	「ZR+」の定義。ホストの熱クラス
マルチベンダー / ROADM 回線システムにわたる地域または長距離--	トランスポンダまたは薄型トランスポンダ	未加工モジュールのコストを超えた運用の一貫性
メトロ、混合レガシー サービス、社内に光学チームは存在しない-	グレーの光学系 + マネージド外部 DWDM	合計ライン-システム所有コスト
500～2,000 km、単一オペレーターのバックボーン-	800ZR+ ハイパワー-コヒーレント	累積された OSNR、電力、および冷却

 

このトラップは、行を開始点ではなく判定として読み取っています。 2 行目: ZR+ は、80 ～ 500 km の地点間リンクの明らかなデフォルトであり、一方の端が制御していない専用 ROADM の背後で終端するまで、距離とコストの数値がすべてプラグ可能であるにもかかわらず、正解は静かにトランスポンダーに切り替わります。私たちは、「決着した」ZR+計画がまさにその引き継ぎで解明されるのを見てきました。スパン、スイッチ プラットフォーム、または運用モデルにどの例外が隠れているかは、このテーブルからは確認できない 1 つのことです。

 

 

ここでのすべてのセクションの概要は同じです。データセンターの相互接続の決定は、帯域幅の決定よりずっと前に光とファイバーの決定であり、スムーズに進むプロジェクトは、モジュールを注文する前にスパンを特徴づけ、電力と相互運用性のストーリーを明確にしたものです。-この約束の背後にあるキットの内容については、当社は 1G SFP から最大 800G OSFP までのコヒーレントおよびグレー光学系を出荷しており、1.6T OSFP224 が認定されており、すべてのコヒーレント モジュールは出荷前に十数のスイッチおよびルータ プラットフォームで検証されています。特定のリンクをマッピングしている場合、私たちが行うことができる最も役立つことは、距離、測定された損失、スイッチまたはルーターのプラットフォームを適切な到達クラスと照合してチェックし、拡張する前に実際の仕様とサンプルを送信して適格性を確認することです。あなたは私たちから始めることができますDCIおよびOTNトランスポート製品ラインコヒーレント側とトランスポンダ側の場合、またはDWDM および CWDM 範囲灰色の光学系を中心に波長計画を構築している場合。いずれにせよ、私たちが毎週行っている会話は、このページが始めようとしているものと同じです。「どこまで進むのか」ではなく、「どこまで続くのか」あなたのファイバ。"