GBASE GBase 8a 資料載入和整合

Mondo 科技 更新 2024-02-21

資料載入 集群載入具有以下特點和優勢:

它與 GBASE NTU 的通用集群高度整合,無需額外部署。

GBASE一般支援SQL和外部工具的載入模式,面向使用者的SQL介面模式統一了DML等集群載入和資料操作方式。

GBASE支援單錶、多資料來源並行載入,支援多載入器並行載入單錶,最大程度優化載入效能。

GBASE支援從通用資料伺服器遠端讀取資料,支援FTP、SFTP、HTTP、HTTPS、HDFS、KA、FKA等多種檔案傳輸協議。

支援普通文字、GZIP壓縮、snappy壓縮、LZO壓縮等多種格式的資料檔案載入;

支援普通文字模式、固定長度文字模式和寬鬆模式載入;

支援錯誤資料溯源功能,可準確定位源資料檔案中錯誤資料的位置;

支援實時查詢載入進度和狀態;

隨著集群大小的增加,載入效能可以繼續提高。

Kafka 資料同步 資料同步系統通過 Oracle Goldengate、Gbase RTSYNC 等工具將 Oracle、Gbase 8S 等資料庫的業務資料拷貝到 Gbase 8A MPP 集群中,並將 Kafka 訊息佇列作為緩衝區新增到系統中,以應對業務系統中可能出現的高峰。 例如,Oracle 將實時資料同步到 GBASE 8A 集群,整體流程如下:

OGG 傳送程式 (GoldenGate Extract) 從 Oracle 的 ** 日誌和歸檔日誌中提取事務資訊,以生成跟蹤檔案。 OGG 接收器(Goldengate Replicat)接收跟蹤檔案,提取事務資訊並將其轉換為目標格式,並將事務訊息生成給 Kafka。 集群的 consumer 模組使用來自 Kafka 的事務訊息將資料更新到 gbase 8a mpp 集群中。

Kafka Consumer 的主要功能是將 Kafka 資料同步到 Gbase 8a MPP 集群:

根據配置,您可以指定需要同步的服務。

在同步過程中,提供同步狀態查詢功能;

實現資料同步的高可用性和事務資料一致性。

相關問題答案

    GBASE 是 GBase 8a 網路解決方案

    GBASE 是通用的。網路平面型別 Gbase A MPP Cluster的網路部署方案可以分為兩個物理隔離的平面網路,即資料面網路和業務面網路。資料平面網路用於集群內的資料計算和集群管理,也稱為集群內部網路。服務面網路用於業務系統訪問,也稱為集群外部網路。Gbase A MPP Cluster由G...

    NTU 通用 GBase 8a 企業增強功能 (2)。

    虛擬集群 GBASE 可以在通用虛擬集群中包含乙個或多個 VC。每個 VC 都是乙個物理集群,每個 VC 由同一組協調器集群管理,每個 VC 在虛擬集群範圍內獨立執行並共享乙個統一入口。每個虛擬集群 VC 由一組資料節點組成,所有虛擬集群都由一組協調器集群控制。每個虛擬集群獨立執行,互不影響 GBA...

    NTU 通用 GBase 8a 企業增強 (1)。

    資料的分布式儲存 列和行是混合的 NTU 的通用 gbase a 管理的資料被組織起來,並以物理方式儲存在磁碟上的列中。面對海量資料分析,分析資料庫將表資料儲存在列中,列儲存架構在查詢 統計 分析操作方面具有天然優勢。其優點體現在以下幾個方面 更低的 IO 只有訪問查詢中涉及的列才會產生磁碟 io,...

    上汽大通Vanlife正式定製輕型乘用車 助力輕型創業夢想成真

    擺脫兩點一線的枯燥生活,享受自由自在的生活,是很多年輕人的夢想。但實現夢想並不是一件容易的事,如果你想實現工作的自由,你需要為創業做好充分的準備。其實不妨從輕生意做起,比如買一輛多功能小巴,把它建成移動咖啡屋 花店或者甜品店,邊走邊賺錢。上汽大通Vanlife官方定製輕客V Mart Edition...

    摩根大通(J.P. Morgan)已任命Piepszak和Rohrbaugh為商業和投資銀行業務的聯席首席執行官

    摩根大通 J.P.Morgan Chase 最近宣布任命Jennifer Piepszak和Troy Rohrbaugh為商業和投資銀行業務的聯席首席執行官 CEO 這一任命標誌著摩根大通銀行業務的戰略調整,並決心進一步擴大其業務範圍。Pipsak和Rohrbo的任命是摩根大通適應市場變化和應對競爭...