AI伺服器功耗大幅提公升,液冷第一年?

Mondo 科技 更新 2024-03-04

近日,戴爾首席運營官傑夫·克拉克(Jeff Clarke)在乙份新聞稿中透露,英偉達將在2025年推出採用“Blackwell”架構的B200產品,功耗可能達到1000W,比H100提公升40%以上戴爾需要利用其工程獨創性來冷卻 GPU。

Clarke指出,作為一家硬體製造商,重要的是冷卻產生這些FLOPS(每秒浮點運算)的處理器,而這正是戴爾的優勢所在

我們將有機會展示我們作為行業領導者所做的工作利用我們的專業知識實現大規模的液冷效能無論是流體化學和效能工作,還是我們的互連工作,我們正在做的遙測工作,我們正在做的電源管理工作。 我們已準備好將其大規模推向市場,以利用市場上存在的這種令人難以置信的計算能力或實力或容量。

3月3日,國盛**分析師宋家驥、黃晗、石玉傑在題為《液冷元年》的報告中指出。隨著算力時代的到來,GPU伺服器體積增加和液冷實施的驅動力發生了根本性的變化2024年將是液冷散熱的第一年。

國生**分析,與傳統伺服器相比,AI伺服器的功耗得到了極大的提公升,成為驅動液冷的直接導火索從幾百瓦的CPU伺服器到幾千瓦的GPU異構伺服器,熱功耗增加了幾十倍然而,風冷的上限無法滿足AI的散熱需求,成為加速液冷散熱的“必須”

在AI時代大模型興起後,並行算力網路下的異構架構成為主流,AI伺服器不僅使用傳統的CPU晶元,還增加了大量的大功率GPU晶元,整機功率大幅提公升,比如NVIDIA A100 SXM晶元單卡功耗為400W, 而 8 卡 AI 伺服器單個 GPU 的熱功耗為 32kw,h100 pcie 5.單卡0晶元功耗高達700W; 對於傳統的通用伺服器,以H3C為例,R4900 G6伺服器處理器的最大功率為385W。

單個風冷製冷櫃的上限通常在15kW左右,液冷資料中心的單個機櫃可以支援30kW以上的散熱能力。 以 H100 為例,假設 8 張卡完全配置,單個 H100 伺服器的功耗將達到 5在6kW(不考慮CPU、儲存、整機額外散熱),風冷散熱門檻有限,成為實際操作中的痛點,AI伺服器機櫃無法散熱,液冷成為“必選”。

國盛**認為,行業正處於落地液冷散熱更大的問題是,初始投資比傳統的風冷要多但隨著AIDC建設的加快,大功率機櫃的滲透率明顯提高,功耗遠超傳統機櫃,液冷相對於風冷的優勢逐漸凸顯,節省的電費有望逐漸“稀釋”初期投資預計冷板液冷整體投資+運維價效比拐點有望加速。

開源**還指出,在碳達峰、碳中和的背景下,IDC綠色化是大勢所趨液冷或散熱技術的演進是必然的途徑隨著PUE要求的不斷嚴格,液冷散熱的優勢逐漸凸顯出來,無論是IDC的新建還是庫存改造的需要,液冷都有望成為首選。

財新**研究報告認為在資料中心大規模集約化發展的趨勢下,液冷解決方案仍有每年降低成本5-10%的空間考慮到液冷方案可以有效延長伺服器的使用壽命,未來液冷資料中心的總成本將更加明顯。

相關問題答案

    液冷伺服器需求激增,AI算力關鍵賽道全面梳理

    隨著人工智慧技術的快速發展,對算力的需求也在增加,這導致了對液冷伺服器的需求激增。由於AI晶元功耗大幅增加,過熱對伺服器效能產生嚴重影響,因此散熱和溫度控制問題迫在眉睫。液冷技術具有顯著優勢,可有效降低資料中心能耗,提高散熱效率,使伺服器執行溫度更加穩定。隨著裝置熱密度的增加,液冷技術將成為替代傳統...

    最賺錢的,液冷伺服器五朵金花!

    另乙個人工智慧技術應用正在迅速興起,即液冷伺服器。目前,這一地區仍處於低迷狀態。今年以來,隨著AI大模型的蓬勃發展,對算力的需求快速增長。然而,與此同時,資料中心對冷卻的需求急劇增加。與傳統的風冷相比,液冷不僅效率更高,而且更節能。三大運營商聯合發布重磅白化技術,並將在年開展液冷技術的大規模應用,屆...

    人工智慧伺服器的發展如何在滿足需求和減少環境影響之間取得平衡?

    人工智慧伺服器的發展需要採取以下措施來平衡滿足需求和減少對環境的影響 能效優化 通過開發高效節能的處理器和硬體裝置,提高伺服器的能效比,降低能耗。使用可再生能源 鼓勵使用太陽能或風能等可再生能源發電,以減少對傳統能源的依賴並減少碳排放。硬體更新和利用 利用先進的硬體技術優化伺服器設計,同時促進舊裝置...

    寶德AI伺服器是推動大模型發展的算力底座

    大型語言模型作為人工智慧領域的重要分支,由於其強大的自然語言處理能力和模仿人類的對話決策能力,正逐漸成為人們關注的焦點。近日,據央視新聞報道,工信部賽迪研究院資料顯示,今年中國中國大模型市場規模實現快速提公升,應用場景不斷豐富,增速有望超過 目前,國內已有超過家語言大模型研發廠商,其中共有家廠商的模...

    緯創是AI伺服器晶元領域的一顆閃亮之星

    隨著人工智慧技術的快速發展,AI伺服器晶元市場競爭激烈。近日,天風分析師郭明錤發布的 連鎖調查報告顯示,在這場三巨頭混戰中,緯創憑藉過硬的技術實力和精準的市場定位,成為年AI伺服器業務的主贏家。 AI伺服器晶元市場 三巨頭混戰。目前,AI伺服器晶元市場由英偉達 AMD和英特爾三巨頭主導。這三家公司都...