隨著AI大模型引數規模的不斷擴大，對算力的需求也在急劇增加。 為了滿足這一需求，各行各業都在積極開發和建設大規模的計算基礎設施，導致各種專用AI加速晶元供不應求，不僅採購困難，而且成本高昂。 因此，一些公司將注意力轉向了目前最流行的硬體產品——CPU（**處理器）。 近日，第五代英特爾至強可擴充套件處理器的出現，再次在業界看到，使用CPU也能提公升AI的效率，在CPU上執行AI也能很“香”。
CPU在AI領域的新使命
據了解，與訓練相比，AI推理對計算資源的需求相對較小，對於一些推理任務輕的企業或行業來說，選擇CPU比專業的AI加速晶元更具成本效益。 同時，由於 CPU 是當今最流行的硬體，因此大多數企業都樂於利用更廣泛、基於 CPU 的 IT 基礎設施和架構的部署來避免異構平台的部署挑戰。 將AI加速引入傳統架構，是CPU在這個時代的新使命。
第 5 代英特爾至強可擴充套件處理器應運而生。 該處理器將核心數量增加到 64 個，並配備 320MB 的 L3 快取和 128MB 的 L2 快取。 與上一代處理器相比，單核效能和核心數量都有顯著提高。 在相同的功耗下，第 5 代至強可擴充套件處理器的平均效能提高了 21%，記憶體頻寬提高了 16%，快取容量提高了近 3 倍。
同時，第五代至強可擴充套件處理器的每個核心都配備了AI加速功能，與上一代相比，訓練效能提公升了29%，推理能力提公升了42%。
在AI負載處理能力方面，第五代至強可擴充套件處理器也得到了顯著提公升。 從至強可擴充套件處理器開始，英特爾高階矩陣擴充套件 （Intel AMX） 作為內建 AI 加速引擎推出，這是一項創新，使 CPU 能夠更高效地處理 AI 工作負載。 英特爾** X-512 指令集也內置於至強 5 中，該指令集與更快的核心和更快的記憶體一起，進一步提高了 AI 效能，使生成式 AI 能夠執行更多工作負載，而無需單獨的 AI 專用加速器。 隨著自然語言處理推理效能的飛躍，它更好地使企業能夠更好地支援機械人、聊天機械人、文字、語言翻譯等工作負載的響應能力。 借助該處理器，開發人員可以推理和調整具有多達 200 億個引數的大型語言模型，在執行引數少於 200 億個引數的模型時，響應延遲小於 100 毫秒。
護送雲服務提供商
生成式AI的爆發給雲計算行業帶來了新的機遇，但也帶來了挑戰。 由於大模型需要巨大的算力，雲廠商需要盡快公升級資料中心的算力，以滿足AI需求，並持續降低TCO（總擁有成本），為使用者提供最合理的計算資源。 此外，AI應用開發還涉及大量私隱敏感資料的雲儲存和使用，雲廠商需要對現有硬體基礎設施進行公升級，以保證這些資料的安全可靠，打消使用者的後顧之憂。
第五代英特爾至強可擴充套件處理器從軟體和硬體兩個方面為雲服務提供商構建了良好的生態系統。 在硬體方面，英特爾 SGX TDX 解決方案為雲中的資料提供端到端的硬體級保護功能。 在軟體方面，英特爾在PyTorch、TensorFlow和OpenVino工具包的行業標準框架中，為第五代至強可擴充套件處理器提供了優化，使雲廠商和使用者能夠快速利用英特爾AMX等處理器功能，以較低的進入門檻突破AI應用的計算瓶頸。
第五代英特爾至強可擴充套件處理器為雲服務提供商提供堅實的計算能力支援。 它不僅降低了運營成本，而且為資料安全提供了強大的屏障。 更重要的是，它優化了AI應用開發，讓雲服務商也能體驗到在CPU上執行AI的“甜蜜”。
企業啟動“先行者”模式
英特爾CEO帕特·基辛格在2024年英特爾ON技術創新大會上表示：“在這個人工智慧技術快速發展和產業數位化轉型的時代，英特爾保持高度的責任感，幫助開發者讓AI技術無處不在，讓AI更易觸達、更可見、更透明、更值得信賴。 ”
據了解，目前資料中心中 70% 的推理執行使用英特爾至強可擴充套件處理器。 隨著第五代至強可擴充套件處理器的誕生，一些公司開始了“搶先採用者”模式，其產品在AI效能方面也得到了顯著提公升。
11.11期，京東雲通過基於第五代Intel Xeon可擴充套件處理器的新一代伺服器成功應對業務量激增，與上一代伺服器相比，整機效能提公升123%，AI計算機視覺推理效能提公升至138%， LLAMA 2 推理效能提公升至 151%。輕鬆應對高峰使用者訪問量同比增長170%、智慧型客服諮詢量超過14億次的壓力。
基於第五代英特爾至強可擴充套件處理器，Volcano Engine 的第三代 Flex 計算例項將計算能力提公升了 39%，應用效能提公升了 43%。 在效能提公升的基礎上，Volcano Engine 通過其獨特的潮汐資源池能力，構建了百萬核彈性資源池，可以以類似的月度成本提供按量付費的體驗，降低上雲成本。
借助第 5 代至強可擴充套件處理器的內建加速器，您可以提供平均 10 倍的每瓦效能提公升，功耗低至 105W，同時執行工作負載優化的節能 SKU。
阿里雲搭載第五代英特爾至強可擴充套件處理器，內建英特爾 AMX 和英特爾 TDX 加速引擎，打造了“生成式 AI 模型和資料保護”的創新實踐，顯著提公升了第 8 代 ECS 例項的安全性和 AI 效能，並為客戶保持了例項**不變。
其中包括推理效能提高 25%、QAT 加密和解密效能提高 20%、資料庫效能提高 25% 以及音訊效能提高 15%。
如果把資料中心想象成一台超級計算機，CPU就是它的“大腦”。 第五代英特爾至強可擴充套件處理器作為“超級大腦”，在資料中心的高效執行和AI應用的實現中發揮著至關重要的作用。
AI落地時代已經開始，CPU的“春天”即將到來。 作者丨沈聰 編輯丨張欣怡梅 編輯丨Maria 製片人丨連曉東