IBM 著手擴充套件 Ceph,將其作為 AI 的底層資料儲存

Mondo 科技 更新 2024-02-18

IBM 正在擴充套件 CEPH 的塊和檔案儲存功能,將其定位為儲存規模並行檔案系統下 AI 工作負載的後端資料儲存。

Ceph 是一款開源橫向擴充套件儲存軟體,在底層物件儲存之上提供檔案、塊和物件儲存介面,具有自我修復和自託管功能。 當IBM在2019年以340億美元收購Red Hat時,它順便包括了CEPH。 就在一年多前,IBM 決定將其 Ceph 產品從 Red Hat 遷移到 Storage,並將其更名為 Storage Ceph。 IBM Storage Ceph 業務總經理 Denis Kennelly 在上個月一篇關於 Ceph 的部落格文章中宣布了他下一步的計畫後,在簡報中透露了更多資訊。

denis kennelly

作為IBM儲存業務(包括硬體和軟體產品)的負責人,Kennelly表示,IBM大約三分之二的儲存收入來自硬體,三分之一來自軟體。 據Kennelly稱,IBM將在2023年擴大其硬體儲存市場份額,特別是高階DS8000陣列和FlashSystem全快閃記憶體陣列。 那麼,CEPH的銷售額是否相應增加? 他的回答很簡單,“是的,當然。 ”

IBM Storage 目前專注於三個關鍵領域:混合雲、AI 和資料恢復彈性。 CEPH 在混合雲和 AI 領域都發揮著重要作用,有助於在將非結構化資料引入大型語言模型處理系統之前提供對非結構化資料的訪問。

IBM 的 Storage Defender 產品與 Cohesity 有著長期的合作關係,收購 Cohesity-Veritas 加強了 Big Blue 在資料恢復和彈性方面的市場地位。 原則上,這筆交易將幫助IBM擴大其在Veritas客戶群中的影響力。 Kennelly表示,“備份市場顯然正在經歷一波合併浪潮。 ”

回到 CEPH,Kennelly 認為 CEPH 充分滿足了軟體定義儲存市場的需求。 “紅帽將 Ceph、OpenShift 和容器技術結合在一起。 我們希望通過在商用硬體上執行完整的軟體定義儲存技術堆疊來加速這一過程,並考慮戴爾、HPE、聯想、Supermicro 等公司的伺服器儲存硬體。 ”

在過去的一年中,IBM 通過增加對 NVMe TCP 的支援,同時提高了產品可用性,擴充套件了 Ceph 的塊儲存功能。 Kennelly 解釋說,對於儲存容量要求高達 100 TB 的 AI 專案,傳統的 SAN 解決方案往往會捉襟見肘,相應的擴充套件計畫可能需要 20 到 30 個獨立的步驟。

他補充道:“在 CEPH 環境中,使用者只需將 100 TB 的容量放入單個裝置,將其新增到集群中,然後立即使用即可。 “Ceph 能夠順利處理所有事情。 “Watsonx 團隊還與 CEPH 密切合作,”IBM 的生成式 AI 平台 Watsonx 說。

IBM 是否考慮過向 CEPH 新增 GPUdirect 支援? Kennelly 承認,“我們正在研究這個問題”,IBM Storage 已經提供了出色的軟體,即具有並行檔案系統的 Storage Scale,它可以通過 GPUdirect 快速將資料傳輸到 GPU 伺服器。

Kennelly 還提到,“Storage Scale 支援 GPUdirect,我們可以將 Scale 與在後台執行的 Ceph 相匹配。 ”

Scale 還提供了乙個可擴充套件的高效能檔案系統快取層,可以鏈結到 Ceph 後端。 AFM 使使用者能夠建立從本地 Scale 集群到隔離儲存遠端集群的關聯,並定義檔案資料位置流以實現自動化資料管理。 使用者可以跨世界各地的站點構建資料儲存的單個命名空間檢視。

IBM一直在進行儲存規模基準測試,Kennelly也對結果感到滿意,並強調結果預計將在今年晚些時候公布。 scale-ceph 的基本思想是將資料儲存在其原始位置,然後 IBM 將查詢內容。 這與 Snowflake 和 Databricks 等供應商的“向我們提供資料,我們將對其進行查詢”方法不同。

Kennelly 補充道:“隨著對快速查詢需求的增加,儲存規模的優勢得到了進一步凸顯。 當然,使用者可以直接選擇NFS,但永遠無法獲得與Scale相媲美的效能。 ”

在他看來,“人工智慧即將迎來重大變革,面對這個激動人心的時刻,我們還有很多工作要做。 ”

而CEPH將作為基礎平台在這方面發揮重要作用。 通過使用儲存作為底層資料儲存解決方案,Ceph 會將自己管理的資料交付給在 GPU 伺服器上執行的大型語言模型。

相關問題答案

    IBM 發布模組化量子計算機 IBM Quantum System2

    其中最重要的一點是,蒼鷺可以相互連線,構建乙個模組化的量子計算機。IBM 通過使用三個 Heron 量子晶元發布了 IBM QuantumSystem,實現了這一點。美國位於太平洋的另一邊,如今在技術方面取得了長足的進步。根據參考資料com 訊息,IBM 於 月 日推出了新型量子計算晶元和計算機。I...

    Rapidus在IBM的名單上,能否成功量產2nm晶元

    在全球半導體產業如火如荼之際,多家日本行業巨頭聯手催生了一家名為Rapidus的新公司。這不僅是資本的結合,也是對日本國內半導體技術發展的一次深度布局。Rapidus的成立,猶如一顆璀璨的星星,照亮了日本半導體產業的前進方向,其目標直接瞄準了nm晶元的量產,為全球半導體產業帶來了新的挑戰和機遇。Ra...

    Meta 和 IBM 聯手開源 AI

    由於缺乏監管,對人工智慧發展和安全的擔憂繼續迅速增長。最新的行業解決方案計畫來自 Meta 和 IBM。這兩家公司成立了乙個名為人工智慧聯盟的組織。人工智慧聯盟的使命是 培養開放社群,使開發人員和研究人員能夠加速人工智慧領域負責任的創新 它被定義為 建立科學嚴謹性 信任 安全 保障 多樣性和經濟競爭...

    IBM 終於兌現了 1,000 個量子位元的承諾,量子計算進入了乙個新時代

    最近,我發現IBM終於要到今年年底了,兌現了他們做超過個量子位元的承諾。就在最近,有訊息稱,他們已經成功開發出具有個量子位元的量子處理器condor。這一里程碑不僅標誌著IBM在量子計算領域的重大突破,也為整個科技界帶來了新的希望和可能性。但我們將繼續等待谷歌兌現其超過個量子位元的承諾。首先,讓我們...

    迪士尼、蘋果、IBM暫停X平台廣告,馬斯克去他媽的

    自 年底收購 X 平台以來,埃隆 馬斯克 Elon Musk 一直在為 X 前身為 Twitter 的廣告商流血,這已經不是什麼秘密了。自從馬斯克在為這家社交 公司支付了約億美元後,將水槽帶入Twitter總部,讓全世界知道他負責這個地方以來,馬斯克已經從公司名稱到其政策以及監管平台上內容的方式進行...