告別昂貴的儲存,高效靈活地管理資料

Mondo 科技 更新 2024-01-30

在當今的數字時代,企業面臨著海量資料的挑戰,這些資料承載著技術創新和業務發展的重要使命。 因此,高效、安全地收集、儲存和管理資料是乙個關鍵問題。 對於需要長期儲存和低頻分析的資料,組織需要一種更具成本效益和便捷的方式來儲存和利用這些資料。 Observation Cloud利用資料**提供了全新的解決方案,幫助使用者將需要儲存的資料傳輸到第三方外部儲存,不僅有效降低了使用者的成本,也使使用者更容易直接檢視和靈活管理第三方在Observation Cloud中儲存的資料。 因此,本文將討論該方案的配置和實際場景示例,以便使用者能夠更輕鬆、更靈活地管理資料,成本更低。

Observation Cloud提供了多種資料和儲存方式,幫助使用者靈活管理和儲存資料。 您可以自定義資料規則,將日誌、鏈結和使用者訪問資料儲存到可觀測雲中的物件儲存中,或者儲存到第三方外部儲存中,包括AWS S3、OBS、阿里雲OSS、Kafka Message Queue等。

您可以在“管理資料”規則中建立新規則。 建立完成後,如果上報的資料與規則中的配置匹配,則匹配的資料將被轉儲。

前提條件:使用觀測雲的商業版本,請參閱

勾選“包含擴充套件字段”,滿足要求的整個日誌資料都會受到影響,但應用效能和使用者訪問資料會預設為整個資料,不受該選項的影響。

接下來,您可以自由選擇資料來源,包括日誌、鏈結和使用者訪問,並自定義資料來源的過濾條件,即滿足全部或任意條件的資料將儲存到資料中。 如果條件運算子 in not in 足以與資料完全匹配,則可以選擇多個值;Match Not Match 支援輸入常規表語法進行模糊匹配,快速篩選需要使用的資料。

當然,您也可以儲存所有日誌,而無需填寫過濾鏈結使用者訪問資料。 以日誌為例,如下圖所示:

Observation Cloud 提供了更全面的資料儲存方式**,您可以根據自己的實際情況和需求自由選擇儲存型別。 支援Observation Cloud、AWS S3、OBS、阿里雲OSS和Kafka訊息佇列5種儲存路徑。

如果選擇觀測雲作為資料儲存物件,觀測雲提供的匹配資料將儲存到觀測雲側的OSS、S3和OBS物件中。 此規則下的最小資料儲存時間預設為 180 天。 當然,您也可以根據需要在管理>設定中修改資料儲存策略,以便在同一平台上高效地觀察、管理和儲存資料。

當然,如果您已經使用AWS S3、華為雲OBS、阿里雲OSS、Kafka訊息佇列等方式儲存資料,Observation Cloud也可以通過多種授權方式幫助您跨平台共享雲資源。

當您選擇 AWS S3 作為存檔型別時,您需要根據訪問型別填寫不同的存檔資訊,還可以直接測試連線以確定填寫的資訊是否標準化,並以安全、標準化的方式將匹配的資料儲存到 S3 物件儲存中。

角色授權:您需要使用觀察雲預設生成的外部 ID 配置對 AWS 資源的第三方訪問。 在 AWS 中為 Observation Cloud 配置 IAM 角色後(請參閱:填寫 AWS 賬戶 ID、AWS 角色名稱、區域和儲存桶名稱等存檔資訊。

訪問金鑰:您需要 AWS 資源授權模板來配置觀察到的雲 IAM 策略。 填寫賬戶資訊,輸入 AWS 賬戶 ID、AWS AK & SK、區域和儲存桶名稱。

賬號授權:AWS提供跨賬號授權,需要使用觀測雲專用的賬號ID,並根據配置說明新增跨賬號訪問授權策略完成後,選擇乙個區域並輸入儲存桶名稱。

有關 Observable Cloud 帳戶的更多資訊,請參閱:

在配置華為雲資源訪問授權時,您需要使用觀測雲提供的唯一華為雲賬號ID,在華為雲控制台新增跨賬號訪問授權策略。 配置完成後,您只需選擇華為雲儲存桶的地域和名稱即可。 同樣,您也可以測試連線以確保順利訪問。

與 AWS S3 類似,Observant Cloud 允許您通過角色授權、訪問金鑰和賬號授權訪問型別訪問阿里雲 OSS 中的資料資源。

但是,在輸入位址和訊息主題後,您需要傳遞安全協議才能將資料轉儲到 Kafka Message Queue。 在Kafka端,SASL可以使用PlainText或SSL作為傳輸層,而傳輸層又使用SASL PlainText或SASL SSL安全協議。 因此,詳細配置如下:

選擇 PlainText 時,不需要任何安全檢查,可以直接測試連線;

如果選擇“SASL PlainText”,則可以選擇“Plain”、“SCRAM-SHA-256”或“SCRAM-SHA-512”作為身份驗證方法。 您需要輸入在 Kafka 端認證的使用者名稱密碼,然後測試連線。

選擇SASL SSL時,需要上傳SSL證書。 身份驗證方法可以是普通身份驗證、scram-sha-256 和 scram-sha-512。 之後,輸入在Kafka端執行安全認證的使用者名稱密碼,然後測試連線。

以上介紹了如何根據自身對儲存物件的需求配置最佳規則,單擊建立,幫助您實現低成本的長期儲存、統一的資料管理、資料的靈活使用。

除此之外,您還可以在“規則”列表頁上檢視和搜尋已建立的規則同時,它還支援您進行批量操作,例如啟用、禁用、編輯、刪除等。 值得注意的是,刪除規則後,已經刪除的資料不會被刪除,但不會產生新的資料。

返回資料頁面後,您可以下拉選中的規則,根據自定義時間查詢每小時範圍內的資料。 同時,您還可以輸入關鍵字來搜尋查詢匹配資料,以便快速了解轉儲的資料,以便您可以利用資料進行進一步的挖掘和分析。 值得注意的是,建立資料規則後,每 5 分鐘執行一次規則驗證。

此外,在索引展示頁面,您可以檢視觀測雲的歷史備份日誌和SLS Query Logstore的資料,幫助您隨時檢索和使用相關資料。

在講解了如何配置和管理規則之後,我們將以“日誌資料轉儲到阿里雲OSS”為例,讓你更清晰地了解觀察雲資料的力量和魅力。

在本示例中,我們以 host 中的 ID 為條件,過濾掉相關的日誌資料,並通過角色授權建立規則,將資料儲存在阿里雲 OSS 中,以供後續呼叫使用。

可觀測性雲提供的資料**功能為組織和企業提供了強大的工具,可以輕鬆地長期備份和儲存資料、節省成本、靈活管理資料等。 隨著資料量的持續增長和資料管理需求的增加,資料**功能將繼續在幫助使用者更好地管理和利用其資料資產方面發揮重要作用。

相關問題答案

    NAS 和 HDD 構建高效的網路儲存解決方案

    NAS的優點和特點 .高效的資料共享 NAS裝置接入網路,可輕鬆實現多台電腦 手機 平板之間的檔案和 訪問,提高工作效率。.易於擴充套件 NAS裝置支援熱插拔,允許使用者根據需要隨時新增或更換硬碟,以擴充套件儲存容量。.資料備份與安全 NAS裝置可以設定自動備份任務,確保資料安全,並支援訪問控制 加...

    高效體驗,華碩Zenbook 14 2024講解什麼是AI超薄輕便,年底入手正是時候

    在年英特爾新品發布會上,英特爾帶來了全新的酷睿超卓新平台,同時也正式將AI帶入PC處理器,讓大眾使用者在PC上實現端端AI功能,也直接開啟了AI PC時代。隨著時間的流逝,搭載全新Core Ultra平台的AI超薄輕量產品也陸續推出,對於年底購買新機的人來說,無疑是必然的選擇。那麼,與傳統的輕薄膝上...

    突破“散亂無章”的瓶頸,實現模具庫位高效管理

    模具作為國民經濟的基礎產業,歷來被譽為 工業之母 涉及機械 汽車 電子 塑料 冶金 建材等行業,應用範圍廣泛。然而,大多數模具企業都面臨著同樣的問題 如何智慧型化地管理模具入庫 專案背景 寧波卡地亞電器是慈溪市重要的小家電生產基地之一,每天需要處理大量的模具進出倉庫。最初,他們使用平坦的儲存,並由叉...

    告別繁瑣,歡迎高效免費PLM系統引領企業跨越式發展

    在當今競爭激烈的市場環境中,產品生命週期管理 PLM 系統已成為企業成功的重要支柱。然而,許多傳統的PLM系統不僅購買和維護成本高昂,而且操作複雜,給企業帶來了額外的負擔。幸運的是,有一些免費的PLM系統可供選擇,而且CRDE志成平台支援免費試用,而且操作簡單,價效比高,值得一試。PLM系統創新與效...

    告別分心!讓遮蔽力成為您高效生活的關鍵

    在繁忙的城市中,我們每天都面臨著來自四面八方的壓力。無論是工作上的忙碌 人際關係的紛爭,還是不斷更新的社會資訊,我們都讓人不知所措。我們渴望找到一種方法來消除這些壓力和干擾,以便我們能夠過上更加平靜和專注的生活。有一天,我聽說了乙個關於遮蔽力的傳說。據說,在城郊,住著乙個被稱為 盾牌大師 的神秘人物...