資料載入 集群載入具有以下特點和優勢:
它與 GBASE NTU 的通用集群高度整合,無需額外部署。
GBASE一般支援SQL和外部工具的載入模式,面向使用者的SQL介面模式統一了DML等集群載入和資料操作方式。
GBASE支援單錶、多資料來源並行載入,支援多載入器並行載入單錶,最大程度優化載入效能。
GBASE支援從通用資料伺服器遠端讀取資料,支援FTP、SFTP、HTTP、HTTPS、HDFS、KA、FKA等多種檔案傳輸協議。
支援普通文字、GZIP壓縮、snappy壓縮、LZO壓縮等多種格式的資料檔案載入;
支援普通文字模式、固定長度文字模式和寬鬆模式載入;
支援錯誤資料溯源功能,可準確定位源資料檔案中錯誤資料的位置;
支援實時查詢載入進度和狀態;
隨著集群大小的增加,載入效能可以繼續提高。
Kafka 資料同步 資料同步系統通過 Oracle Goldengate、Gbase RTSYNC 等工具將 Oracle、Gbase 8S 等資料庫的業務資料拷貝到 Gbase 8A MPP 集群中,並將 Kafka 訊息佇列作為緩衝區新增到系統中,以應對業務系統中可能出現的高峰。 例如,Oracle 將實時資料同步到 GBASE 8A 集群,整體流程如下:
OGG 傳送程式 (GoldenGate Extract) 從 Oracle 的 ** 日誌和歸檔日誌中提取事務資訊,以生成跟蹤檔案。 OGG 接收器(Goldengate Replicat)接收跟蹤檔案,提取事務資訊並將其轉換為目標格式,並將事務訊息生成給 Kafka。 集群的 consumer 模組使用來自 Kafka 的事務訊息將資料更新到 gbase 8a mpp 集群中。
Kafka Consumer 的主要功能是將 Kafka 資料同步到 Gbase 8a MPP 集群:
根據配置,您可以指定需要同步的服務。
在同步過程中,提供同步狀態查詢功能;
實現資料同步的高可用性和事務資料一致性。