在當今的數字時代,企業面臨著海量資料的挑戰,這些資料承載著技術創新和業務發展的重要使命。 因此,高效、安全地收集、儲存和管理資料是乙個關鍵問題。 對於需要長期儲存和低頻分析的資料,組織需要一種更具成本效益和便捷的方式來儲存和利用這些資料。 Observation Cloud利用資料**提供了全新的解決方案,幫助使用者將需要儲存的資料傳輸到第三方外部儲存,不僅有效降低了使用者的成本,也使使用者更容易直接檢視和靈活管理第三方在Observation Cloud中儲存的資料。 因此,本文將討論該方案的配置和實際場景示例,以便使用者能夠更輕鬆、更靈活地管理資料,成本更低。
Observation Cloud提供了多種資料和儲存方式,幫助使用者靈活管理和儲存資料。 您可以自定義資料規則,將日誌、鏈結和使用者訪問資料儲存到可觀測雲中的物件儲存中,或者儲存到第三方外部儲存中,包括AWS S3、OBS、阿里雲OSS、Kafka Message Queue等。
您可以在“管理資料”規則中建立新規則。 建立完成後,如果上報的資料與規則中的配置匹配,則匹配的資料將被轉儲。
前提條件:使用觀測雲的商業版本,請參閱
勾選“包含擴充套件字段”,滿足要求的整個日誌資料都會受到影響,但應用效能和使用者訪問資料會預設為整個資料,不受該選項的影響。
接下來,您可以自由選擇資料來源,包括日誌、鏈結和使用者訪問,並自定義資料來源的過濾條件,即滿足全部或任意條件的資料將儲存到資料中。 如果條件運算子 in not in 足以與資料完全匹配,則可以選擇多個值;Match Not Match 支援輸入常規表語法進行模糊匹配,快速篩選需要使用的資料。
當然,您也可以儲存所有日誌,而無需填寫過濾鏈結使用者訪問資料。 以日誌為例,如下圖所示:
Observation Cloud 提供了更全面的資料儲存方式**,您可以根據自己的實際情況和需求自由選擇儲存型別。 支援Observation Cloud、AWS S3、OBS、阿里雲OSS和Kafka訊息佇列5種儲存路徑。
如果選擇觀測雲作為資料儲存物件,觀測雲提供的匹配資料將儲存到觀測雲側的OSS、S3和OBS物件中。 此規則下的最小資料儲存時間預設為 180 天。 當然,您也可以根據需要在管理>設定中修改資料儲存策略,以便在同一平台上高效地觀察、管理和儲存資料。
當然,如果您已經使用AWS S3、華為雲OBS、阿里雲OSS、Kafka訊息佇列等方式儲存資料,Observation Cloud也可以通過多種授權方式幫助您跨平台共享雲資源。
當您選擇 AWS S3 作為存檔型別時,您需要根據訪問型別填寫不同的存檔資訊,還可以直接測試連線以確定填寫的資訊是否標準化,並以安全、標準化的方式將匹配的資料儲存到 S3 物件儲存中。
角色授權:您需要使用觀察雲預設生成的外部 ID 配置對 AWS 資源的第三方訪問。 在 AWS 中為 Observation Cloud 配置 IAM 角色後(請參閱:填寫 AWS 賬戶 ID、AWS 角色名稱、區域和儲存桶名稱等存檔資訊。
訪問金鑰:您需要 AWS 資源授權模板來配置觀察到的雲 IAM 策略。 填寫賬戶資訊,輸入 AWS 賬戶 ID、AWS AK & SK、區域和儲存桶名稱。
賬號授權:AWS提供跨賬號授權,需要使用觀測雲專用的賬號ID,並根據配置說明新增跨賬號訪問授權策略完成後,選擇乙個區域並輸入儲存桶名稱。
有關 Observable Cloud 帳戶的更多資訊,請參閱:
在配置華為雲資源訪問授權時,您需要使用觀測雲提供的唯一華為雲賬號ID,在華為雲控制台新增跨賬號訪問授權策略。 配置完成後,您只需選擇華為雲儲存桶的地域和名稱即可。 同樣,您也可以測試連線以確保順利訪問。
與 AWS S3 類似,Observant Cloud 允許您通過角色授權、訪問金鑰和賬號授權訪問型別訪問阿里雲 OSS 中的資料資源。
但是,在輸入位址和訊息主題後,您需要傳遞安全協議才能將資料轉儲到 Kafka Message Queue。 在Kafka端,SASL可以使用PlainText或SSL作為傳輸層,而傳輸層又使用SASL PlainText或SASL SSL安全協議。 因此,詳細配置如下:
選擇 PlainText 時,不需要任何安全檢查,可以直接測試連線;
如果選擇“SASL PlainText”,則可以選擇“Plain”、“SCRAM-SHA-256”或“SCRAM-SHA-512”作為身份驗證方法。 您需要輸入在 Kafka 端認證的使用者名稱密碼,然後測試連線。
選擇SASL SSL時,需要上傳SSL證書。 身份驗證方法可以是普通身份驗證、scram-sha-256 和 scram-sha-512。 之後,輸入在Kafka端執行安全認證的使用者名稱密碼,然後測試連線。
以上介紹了如何根據自身對儲存物件的需求配置最佳規則,單擊建立,幫助您實現低成本的長期儲存、統一的資料管理、資料的靈活使用。
除此之外,您還可以在“規則”列表頁上檢視和搜尋已建立的規則同時,它還支援您進行批量操作,例如啟用、禁用、編輯、刪除等。 值得注意的是,刪除規則後,已經刪除的資料不會被刪除,但不會產生新的資料。
返回資料頁面後,您可以下拉選中的規則,根據自定義時間查詢每小時範圍內的資料。 同時,您還可以輸入關鍵字來搜尋查詢匹配資料,以便快速了解轉儲的資料,以便您可以利用資料進行進一步的挖掘和分析。 值得注意的是,建立資料規則後,每 5 分鐘執行一次規則驗證。
此外,在索引展示頁面,您可以檢視觀測雲的歷史備份日誌和SLS Query Logstore的資料,幫助您隨時檢索和使用相關資料。
在講解了如何配置和管理規則之後,我們將以“日誌資料轉儲到阿里雲OSS”為例,讓你更清晰地了解觀察雲資料的力量和魅力。
在本示例中,我們以 host 中的 ID 為條件,過濾掉相關的日誌資料,並通過角色授權建立規則,將資料儲存在阿里雲 OSS 中,以供後續呼叫使用。
可觀測性雲提供的資料**功能為組織和企業提供了強大的工具,可以輕鬆地長期備份和儲存資料、節省成本、靈活管理資料等。 隨著資料量的持續增長和資料管理需求的增加,資料**功能將繼續在幫助使用者更好地管理和利用其資料資產方面發揮重要作用。