IBM 正在擴充套件 CEPH 的塊和檔案儲存功能,將其定位為儲存規模並行檔案系統下 AI 工作負載的後端資料儲存。
Ceph 是一款開源橫向擴充套件儲存軟體,在底層物件儲存之上提供檔案、塊和物件儲存介面,具有自我修復和自託管功能。 當IBM在2019年以340億美元收購Red Hat時,它順便包括了CEPH。 就在一年多前,IBM 決定將其 Ceph 產品從 Red Hat 遷移到 Storage,並將其更名為 Storage Ceph。 IBM Storage Ceph 業務總經理 Denis Kennelly 在上個月一篇關於 Ceph 的部落格文章中宣布了他下一步的計畫後,在簡報中透露了更多資訊。
denis kennelly
作為IBM儲存業務(包括硬體和軟體產品)的負責人,Kennelly表示,IBM大約三分之二的儲存收入來自硬體,三分之一來自軟體。 據Kennelly稱,IBM將在2023年擴大其硬體儲存市場份額,特別是高階DS8000陣列和FlashSystem全快閃記憶體陣列。 那麼,CEPH的銷售額是否相應增加? 他的回答很簡單,“是的,當然。 ”
IBM Storage 目前專注於三個關鍵領域:混合雲、AI 和資料恢復彈性。 CEPH 在混合雲和 AI 領域都發揮著重要作用,有助於在將非結構化資料引入大型語言模型處理系統之前提供對非結構化資料的訪問。
IBM 的 Storage Defender 產品與 Cohesity 有著長期的合作關係,收購 Cohesity-Veritas 加強了 Big Blue 在資料恢復和彈性方面的市場地位。 原則上,這筆交易將幫助IBM擴大其在Veritas客戶群中的影響力。 Kennelly表示,“備份市場顯然正在經歷一波合併浪潮。 ”
回到 CEPH,Kennelly 認為 CEPH 充分滿足了軟體定義儲存市場的需求。 “紅帽將 Ceph、OpenShift 和容器技術結合在一起。 我們希望通過在商用硬體上執行完整的軟體定義儲存技術堆疊來加速這一過程,並考慮戴爾、HPE、聯想、Supermicro 等公司的伺服器儲存硬體。 ”
在過去的一年中,IBM 通過增加對 NVMe TCP 的支援,同時提高了產品可用性,擴充套件了 Ceph 的塊儲存功能。 Kennelly 解釋說,對於儲存容量要求高達 100 TB 的 AI 專案,傳統的 SAN 解決方案往往會捉襟見肘,相應的擴充套件計畫可能需要 20 到 30 個獨立的步驟。
他補充道:“在 CEPH 環境中,使用者只需將 100 TB 的容量放入單個裝置,將其新增到集群中,然後立即使用即可。 “Ceph 能夠順利處理所有事情。 “Watsonx 團隊還與 CEPH 密切合作,”IBM 的生成式 AI 平台 Watsonx 說。
IBM 是否考慮過向 CEPH 新增 GPUdirect 支援? Kennelly 承認,“我們正在研究這個問題”,IBM Storage 已經提供了出色的軟體,即具有並行檔案系統的 Storage Scale,它可以通過 GPUdirect 快速將資料傳輸到 GPU 伺服器。
Kennelly 還提到,“Storage Scale 支援 GPUdirect,我們可以將 Scale 與在後台執行的 Ceph 相匹配。 ”
Scale 還提供了乙個可擴充套件的高效能檔案系統快取層,可以鏈結到 Ceph 後端。 AFM 使使用者能夠建立從本地 Scale 集群到隔離儲存遠端集群的關聯,並定義檔案資料位置流以實現自動化資料管理。 使用者可以跨世界各地的站點構建資料儲存的單個命名空間檢視。
IBM一直在進行儲存規模基準測試,Kennelly也對結果感到滿意,並強調結果預計將在今年晚些時候公布。 scale-ceph 的基本思想是將資料儲存在其原始位置,然後 IBM 將查詢內容。 這與 Snowflake 和 Databricks 等供應商的“向我們提供資料,我們將對其進行查詢”方法不同。
Kennelly 補充道:“隨著對快速查詢需求的增加,儲存規模的優勢得到了進一步凸顯。 當然,使用者可以直接選擇NFS,但永遠無法獲得與Scale相媲美的效能。 ”
在他看來,“人工智慧即將迎來重大變革,面對這個激動人心的時刻,我們還有很多工作要做。 ”
而CEPH將作為基礎平台在這方面發揮重要作用。 通過使用儲存作為底層資料儲存解決方案,Ceph 會將自己管理的資料交付給在 GPU 伺服器上執行的大型語言模型。