如今，減少延遲的最佳方法是盡可能使用 NVIDIA 互連技術。 當然，如果你能忍受較慢的訓練速度，繼續使用傳統技術並非不可能。
Dell'Oro分析師Sameh Boujelbene表示，對AI功能不斷增長的需求將推動資料中心交換市場增長50%。 他還表示，網路交換領域即將掀起一股重大的技術創新浪潮。
Boujelbene估計，人工智慧系統目前佔總網路交換位址的“遠低於10%”，其中約90%是用英偉達的Mellanox Infiniband而不是傳統的乙太網部署的。 這些部署將 NVIDIA 的網路收入提高到每年 100 億美元，使其成為該領域的第二大參與者，超過了瞻博網路和 Arista。
這絕非偶然：當涉及到 AI 工作負載時，頻寬和延遲始終是重中之重。 Infiniband 的延遲非常低，因為它的架構可以減少資料包丟失。 相比之下，乙太網中的資料包丟失要嚴重得多。
雖然許多應用程式可以處理資料包丟失，但它會減慢 AI 訓練速度，並且本質上成本高昂且耗時。 這可能就是Microsoft在為機器學習工作負載構建資料中心時選擇Infiniband的原因。
然而，Infiniband也有其自身的缺點，首先，原始傳輸頻寬的上限往往小於乙太網。 NVIDIA 最新的 Quantum Infiniband 交換機埠能夠實現高達 25 種傳輸速度6 TB 秒，每個埠 400 GB 秒; 相比之下，乙太網交換速度在大約兩年前達到 512 TB 秒，或單個埠 800 GB 秒。
在傳統的資料中心中，這種快速套件只能在聚合層實現。 對於常規伺服器節點來說，很少會用盡其 400 GB 第二埠頻寬的四分之一，更不用說用完四分之一了。
但 AI 集群的情況完全不同。 常見的AI節點通常需要為每個GPU配備乙個400GB的第二塊網絡卡。 但是，單個節點可以容納 4 到 8 個 GPU（NIC 的數量也必須同時增加），並且它通常充滿了 AI 工作負載生成的巨大資料流。
Boujelbene 將兩個相互競爭的標準 Infiniband 和乙太網分別與速度較慢但擁堵較少的國道（Infiniband 和限速較高但偶爾發生碰撞的高速公路）進行了比較。
雖然乙太網在傳輸頻寬方面具有技術優勢，但其他現實世界的瓶頸，例如網絡卡的可用PCIe頻寬，往往會被消除。
2024年已經到來，我們可以選擇的最高技術標準是PCIe 50。雙向頻寬約為 64 Gb/s，這意味著需要 16 個埠才能支援單個 400 Gb/s 介面。
包括英偉達在內的一些晶元製造商已經巧妙地將PCIe交換整合到其網絡卡中，以提高效能。 這種加速設計不是將 GPU 和 NIC 塞進 CPU，而是通過 PCIe 交換機以菊花鏈方式連線網路介面。 我們推測 PCIe 60 或 7在0標準出現之前，NVIDIA就以這種方式實現了800 Gb/s和1600 Gb/s的網路傳輸效能。
Dell'oro 預計，到 2025 年，部署在 AI 網路中的絕大多數交換機埠將以 800 Gb 秒的速度執行; 到 2027 年，這個數字將翻一番，達到 1600 GB 秒。
除了保持更高的傳輸頻寬外，乙太網交換領域最近還在進行創新，以解決其與 Infiniband 互連技術相比的缺點。
但這一切都在英偉達的計算範圍內。 具有諷刺意味的是，隨著 SpectrumX 平台的推出，英偉達反而成為無損乙太網技術的最大支持者。
根據 NVIDIA 網路部門營銷副總裁 Gilad Shainer 在之前的採訪中解釋說，Infiniband 更適合執行少量超大規模工作負載的使用者，例如 GPT-3 或數字孿生建模。 但在更動態的大規模雲環境中，乙太網解決方案往往是首選。
乙太網的開放性和適應大多數工作負載的能力是它如此受雲服務提供商和超大規模基礎設施運營商歡迎的原因。 無論是為了避免管理雙棧網路的麻煩，還是為了防止被少數 infiniband** 供應商鎖定，他們都有充分的理由選擇乙太網技術。
Nvidia 的 SpectrumX 產品組合結合了自己的 512 TBS Spectrum-4 乙太網交換機配備 Bluefield-3 SuperNIC，具有 400 GB 第二 RDMA 融合乙太網 （ROCE），可提供可與 Infiniband 效能相媲美的網路效能、可靠性和延遲。
博通在其戰斧和傑里科交換機系列中也做出了類似的選擇。 這些交換機要麼使用資料處理單元來管理擁塞，要麼通過去年發布的Jericho3-AI平台處理頂架交換機的擁塞。
Boujelbene表示，很明顯，博通在超大規模基礎設施運營商和亞馬遜網路服務（Amazon Web Services）等雲服務提供商方面取得了成功。 NVIDIA SpectrumX 的作用還在於將這項工作整合到乙個平台中，從而輕鬆設定無損乙太網。
雖然Microsoft顯然偏愛 Infiniband 的 AI 雲基礎設施，但亞馬遜網路服務正在其 16,384 個 GH200 計算集群（在 2023 年底的最新 Re： Invent 大會上正式宣布）在其 Elastic Fabric Adapter 2 （EFA2） 中使用改進的擁塞管理進行互連。
雖然Dell'Oro預計Infiniband將在可預見的未來繼續佔據其在AI交換領域的主導地位，但它也預計乙太網技術將大幅增長，到2027年將收入份額提高到20個百分點。 這一變化的背後，主要驅動力是那些雲服務提供商和超大規模資料中心運營商。