HBM“颶風”,算力突破

Mondo 科技 更新 2024-02-01

作者 |田曉萌.

編輯 |李信馬。

標題圖片 | ic photo

由於對 AI 算力的需求,HBM 已成為乙個甜蜜點。

近日,據南韓《朝鮮商業》報道,英偉達已向SK海力士和美光支付了700億至1萬億韓元的預付款。 雖然預付款沒有具體說明,但普遍認為,英偉達將需要相應數量的HBM3E,以保證今年推出的GPU產品有相應數量的HBM3E**。

同樣在需求激增的市場環境下,三大儲能巨頭也在競相推動HBM生產。 最近,三星和SK海力士計畫將HBM產量增加到2臺5倍,美光今年將推出8層堆疊AI專用HBM3E記憶體。 對於HBM4,這三家公司也負責,並先後確認了開發和正式上線的時間。

Trendforce集邦諮詢預計,2024年全球HBM位元供應量將增長105%。 預計 2024 年 HBM 市場規模也將達到 89 億美元,同比增長 127%; 預計到2026年市場規模將達到127家4億美元,復合年增長率約為37%。

1. 誰在推動 HBM 市場?

HBM(High Bandwidth Memory)是一種基於3D堆疊工藝的高效能DRAM,即將許多DDR晶元堆疊在一起,然後用GPU封裝。 正是基於中介層中介層互連的近記憶體計算和 TSV 工藝的堆疊技術,讓 HBM 打破了記憶體頻寬和功耗的瓶頸,成為 AI 訓練硬體的首選。

事實上,HBM 已經使用了好幾年,從 2014 年第一款矽通孔 HBM 產品問世以來,HBM 技術已經發展到第五代,其中 HBM3E 是 HBM3 的擴充套件版本,以此類推,HBM4 將是第 6 代產品。 從 HBM 記憶體的演進角度來看,最新的 HBM3 頻寬、堆疊高度、容量和 IO 速率都比第一代提公升了很多倍。

來源: rambus

這正是AI算力所需要的。

根據 OpenAI 的資料,自 2012 年以來,用於最大 AI 訓練的計算量每年增長 10 倍。 OpenAI 的 ChatGPT 充分反映了 AI 訓練資料集的增長。 2022 年 11 月發布的 GPT-3 構建了 1750 億個引數,而去年 3 月發布的 GPT-4 使用了超過 1 個引數。5 萬億個引數。

針對這波AI浪潮,英偉達創始人兼CEO黃仁勳表示,“大型語言模型初創公司、消費網際網絡公司和全球雲服務提供商都處於領先地位,下一波浪潮即將開始。 “當然,算力是人工智慧的關鍵部分,人工智慧晶元廠商發揮著重要作用。

NVIDIA 的 2023 年高階 AI 陣容使用 HBM,包括 A100、A800 和 H100 H800 等型號。 此外,NVIDIA還進一步完善了其產品組合,發布了帶有HBM3E記憶體的H200 GPU,以及GH200超級晶元,預計將於今年第二季度上市。 據了解,以GH200超級晶元為例,HBM3E記憶體比目前的HBM3快50%,總共可以提供10TBS的頻寬,這使得NVIDIA GH200 Grace Hopper平台的執行能力是之前版本的3倍機型的 5 倍,記憶體頻寬提高 3 倍,效能更高。

正在與英偉達“仙女大戰”的AMD在去年12月的“Advancing AI”活動上正式發布了AI旗艦GPU加速器AMD Instinct Mi300X,甚至聲稱其效能比NVIDIA的H100高出60%。 據了解,MI300X採用HBM3記憶體,容量高達192GB,比上一代MI250X(128GB)高出50%。 此記憶體將提供多達 5 個3 TBS 頻寬和 896 GB Infinity Fabric 頻寬。

也想分一杯羹AI的餡餅,還有英特爾。 據外媒報道,英特爾計畫在2024年發布高迪3,配備高達128GB的HBM3E RAM,這將大大提公升AI學習和訓練效能。

誰能成為英偉達的替代者,仍然需要市場的反饋。

毫無疑問,這場AI競爭對算力需求極高,但由於產能有限,供大於求的現狀,進而使得HBM**增加,HBM市場規模快速增長。

資料來源:創始人**。

方正報告指出,從成本端來看,HBM的平均售價至少是DRAM的三倍; 此前,在ChatGPT的驅動下,有限的產能HBM,與最高效能的DRAM相比,HBM3的威力是其五倍。

二、HBM市場分為三個部分

在英偉達、AMD和英特爾相互爭鬥的同時,儲存廠商也沒閒著,擴產成為主旋律。

SK海力士從2013年宣布成功開發HBM1,到2019年開發出世界上最快的高頻寬儲存器HBM2E,再到2021年10月開發全球首款HBM3 DRAM,再到去年開發出全球最高規格的HBM3E,一直是HBM行業的領導者。

值得注意的是,SK海力士2023年第一季度的DRAM僅用了兩個季度就從盈利轉虧。

SK海力士解釋道:“由於市場對高效能半導體儲存器產品的需求增加,尤其是其核心產品HBM3、大容量DDR5 DRAM、高效能移動DRAM等作為AI代表性儲存器的銷售勢頭,公司業績在經歷了第一季度的低點後繼續向好,營業收入較上一季度增長24%,營業虧損減少38%。 SK海力士表示,將重點關注***10nm級(1A)和第五代10nm級(1B)DRAM的產線轉換,同時擴大對HBM TSV1技術的投資。

資料來源:SK海力士財報。

據悉,SK海力士已決定在2024年撥出約10萬億韓元(約合76億美元)用於設施資本支出,重點用於擴建高附加值DRAM晶元的設施,包括HBM3、DDR5和LPDDR5,以及公升級HBM的TSV先進封裝技術。 SK海力士首席執行官Jeong-Ho Park透露,該公司預計到2030年每年將出貨1億台HBM。

此外,SK海力士新成立的AI基礎設施部門將整合分散在公司內部的高頻寬記憶體(HBM)功能,作為公司年度高層改組的一部分。 該部門還將領導下一代HBM晶元等人工智慧技術的開發,識別和開發新市場。 不難看出,SK海力士對HBM寄予厚望。

根據Trendforce集邦諮詢統計,SK海力士在2022年佔全球HBM市場規模的50%,其次是三星,佔40%。

兩者都受益於儲存市場復甦的影響,從三星電子去年第三季度的財務報告資料來看,都有復甦的跡象。 資料顯示,三星電子儲存業務環比增長17%至1053萬億韓元,儲存業務所在的DS部門遭受了3的運營虧損75萬億韓元,但營業虧損436萬億韓元。

資料來源:三星財報。

為了預測儲存市場的未來增長,三星電子收購了三星顯示器天安工廠的一些建築物和裝置,用於 HBM 生產。 三星電子計畫在天安工廠建設一條新的封裝線,用於HBM的大規模生產,預計投資額為7000億至1萬億韓元。 同時,三星正在投入8層和12層HBM3的量產,並已開始**8層HBM3E樣品。

據悉,英偉達的HBM一直由SK海力士獨家擁有,由於需求極其巨大,據說三星已經通過了質量評估,即將加入**業務佇列。 另據報道,三星電子計畫從今年1月開始轉向英偉達**HBM3。

對於 2023 年 HBM 市場份額,Trendforce**、SK 海力士和三星佔據了 HBM 份額的 46-49% 左右。 這一資料也凸顯了SK海力士和三星勢均力敵。

如果我們談論 HBM 市場的“世界”,最後一家公司是美光。 雖然美光在2022年的市場份額只有10%,但也不甘落後。 美光科技台中4工廠專門從事HBM生產,計畫今年量產第五代HBM3E產品。

就鏈條而言,行業內,這三家公司將激烈爭奪英偉達即將推出的H200和B100所需的HBM3E**。

總結

智慧型語音、ChatGPT、智慧型駕駛等智慧型應用逐漸滲透到我們的生活中,對儲存晶元帶來了巨大的需求。 去年下半年,儲存晶元市場的第乙個訊號讓業內人士看到了“曙光”。

從儲存產業鏈來看,SK海力士、三星等各大廠商紛紛採用IDM模式,單槍匹馬地處理晶元的設計、製造、封裝和測試。 在國內市場,倉儲產業鏈仍處於相對邊緣,主要集中在HBM的上游裝置和材料。 不過,國內相關HBM概念股也受益。 據悉,相關廠商也在積極布局高階儲存產品,以適應市場需求和技術演進。

相關問題答案

    AI算力專題:算力路由CATS技術標準進展與展望

    今天分享AI算力系列深度研究報告 AI算力專題 算力路由 CATS 技術標準進展與展望 報告由中國移動研究院出品 報告總計 頁。專題報告 人工智慧學院 近兩年來,中國移動不斷創新,全力推動算力網路的發展,在業界達成了廣泛共識,理念深入人心。算力網路是以計算為中心,以網路為基礎,深度融合網路 雲 資料...

    算力排程:國內算力市場排程的本地布局

    歡迎關注 投資策略 百家賬號,了解更多行業新動向 .北京。構建統一的多雲算力排程平台 針對彈性算力需求,搭建多雲算力排程平台,實現異構計算環境的統一管理和執行。年月,經濟技術開發區組織成立北京亦莊智慧城市研究院,聯合中國電信 JD.com 華為 阿里巴巴 中科曙光 騰訊等算力合作夥伴,共同發布公共智...

    在算力時代,彭博士全面變革算力

    月底,苗雅相機突然火遍全網,小紅書 微博 朋友圈都在討論。花 只需元,即可體驗AI 古董 專業 韓式 等各種風格的修圖。鴨子相機的效率遠高於海馬體,海馬體需要時間來預約 化妝 拍攝和修圖。在妙雅相機爆炸的同時,數字分身限制的等待時間越來越長,在它面前排隊的人也越來越多。六七個小時的等待背後,是奇妙的...

    AI算力報告 中國算力研究報告

    今天分享AI算力系列深度研究報告 AI算力報告 中國算力服務研究報告 報告由中國資訊通訊研究院製作 報告共頁。專題報告 人工智慧學院 年算力規模將達到eflops,中美差距正在縮小,全球算力競爭日趨激烈。算力服務側重於將算力轉化為服務能力,這將成為計算技術公升級的重要變革。算力是裝置集群平台處理資料...

    AI算力專題“PARFAITE”算力開啟計算新紀元

    今天分享AI系列深度研究報告 AI算力 PARFAITE 算力開啟計算新時代 報告由畢馬威會計師事務所編制 報告總計 頁。專題報告 人工智慧學院 歷史在重演,技術總是在前進。縱觀過去的三次科技革命,都是由一些基礎的通用技術 GPTS 驅動的,站在ChatGPT爆發的當下,通用人工智慧極有可能成為新一...