比塊儲存貴的高效能S3,還能幫使用者省錢嗎?

Mondo 科技 更新 2024-01-19

在一年一度的雲科技春節晚會上——亞馬遜雲科技旗下的Re:Invent,在最受關注的CEO主題演講中,發布的第一款產品居然是儲存產品,那就是亞馬遜S3 Express One Zone。

同時,我發現這是一款違反廣告法的儲存產品。

亞馬遜雲科技首席執行官亞當宣布,Amazon S3 Express One Zone是目前雲上最快的物件儲存解決方案。

加速加速,超低延遲物件儲存來了!

Amazon S3 Express One Zone 是 S3 物件儲存的增強版本,其效能是標準 S3 的 10 倍,每秒能夠處理數十萬個請求(具體數量尚不清楚),延遲恆定為幾毫秒。

主要用於金融交易分析、實時廣告推薦、欺詐檢測、機器學習、習訓練等對時延敏感的工作負載,這些工作負載往往需要在短時間內進行數百萬次資料訪問,時延要求較高。

以前,為了提供這種效能,使用者需要將資料從 S3 移動到某個快取加速解決方案。 但是,當使用者需要管理多個儲存基礎架構時,事情可能會很複雜。

現在,有了 Amazon S3 Express One Zone。

事實上,它使用專用的硬體和軟體來加速它,並且它儲存在單個可用區中,允許使用者手動選擇將熱資料放置在特別靠近高效能計算能力的地方,包括 EC2、ECS 和 EKS,以更好地降低延遲。

我記得亞馬遜網路服務在 2019 年收購了全快閃記憶體初創公司 E8,從那以後,我再也沒有聽說過 E8。 至於這次是否使用了E8的技術。 你猜!?

低延遲可提高小物件的效能

由於其低延遲,Amazon S3 Express One Zone 可為小型物件提供更好的效能。

通常,物件儲存在處理大量小檔案時的效能可能不如其他儲存系統,頻繁讀取和寫入大量小檔案會導致儲存系統效能下降。

這是因為物件儲存系統在處理每個物件時,在處理元資料時會產生一定的延遲開銷。 此外,讀取或寫入物件需要一定的時間。

如果物件的大小比較小,那麼基礎延遲開銷在整個程序中佔比較高,系統開銷的比重較高,此時的讀寫頻寬也比較低。

當物件體積比較大時,整個讀寫過程中大部分時間都是傳輸資料,開銷佔比較小,讀寫頻寬會更高。

因此,當系統延遲相對較低時,小物件受益匪淺,與標準版 S3 相比,效能最多可提公升 10 倍。

S3 的低延遲幫助使用者降低成本

更高效能的 S3 物件儲存層通常意味著更高的成本(本文末尾有更多資訊),但實際上,Amazon Web Services 想說的是它節省了資金!

當使用者使用突發例項和按需例項時,如果與極低延遲的 S3 儲存配對,他們可以更快地處理任務並盡快釋放這些計算資源,從而降低成本。

沒錯,這裡節省的不是儲存成本,而是雲託管的成本。

當面對資料密集型工作負載時,整個系統的正常執行時間可能會大大減少,尤其是當需要成百上千臺機器協同工作時,這可以顯著降低成本。

Adam 分享了乙個 Pinterest 故事,其中寫入速度提高了 10 倍,而總體成本降低了 40%。

Amazon S3 於 2006 年推出,改變了人們使用和使用儲存的方式,能夠隨時隨地訪問任意數量的資料。

方便真的方便,貴就是真的貴,為了降低成本,亞馬遜雲科技前後都有很多操作。

例如,Amazon S3 Deep Archive 是一種後來發布的低成本存檔儲存,將成本降低到每 GB 不到 1 美分。

後來,隨著 Amazon S3 層數量的增加,後來又引入了 Amazon S3 智慧型平鋪,它會自動幫助使用者在層之間遷移資料。

Adam表示,自Smart Tiering發布以來,使用者已經節省了超過20億美元,這是乙個可觀的數字。

Amazon S3 Express One Zone 的特別之處

Amazon S3 Express 單區支援常見的 S3 API 函式以及一系列 S3 功能。

但與其他 S3 不同的是,它具有新的儲存桶型別(目錄儲存桶)、新的身份驗證模型和新的儲存桶命名約定。

上圖是 Jeff Bar 在其部落格中分享的關於將現有 S3 儲存桶中的資料放入新建立的 Amazon S3 Express One Zone 目錄儲存桶的圖表。

之後,它將執行自己的批處理操作,並將資料複製到高效能儲存桶中。

目前,Amazon SageMaker Model Training、Amazon Athena、Amazon EMR 和 AWS Glue Data Catalog 支援 Amazon S3 Express 單區。

目前,美國東部 (n.維吉尼亞州)、美國西部(奧勒岡)、亞太地區(東京)和歐洲(斯德哥爾摩)可用,但在中國不可用。

儘管資料僅放置在乙個可用區中,但它比標準 S3 (0.16 vs 0.023),畢竟效能高,貴點還行,不是嗎?更重要的是,資料訪問成本比標準 S3 低 50%!

最後,需要注意的是,它只存在於單個可用區中,如果單個可用區發生故障,資料可能會丟失。

Jeff Bar部落格原文介紹:

相關問題答案