SeaTunnel 將 Oracle 資料同步到 ClickHouse

Mondo 科技 更新 2024-01-31

SeaTunnel 是乙個分布式、高效能且易於擴充套件的資料整合平台,用於海量資料同步和轉換。 可實現MySQL、Oracle、SqlServer、PostgreSQL、MongoDB2、Redis等各種異構資料來源之間穩定高效的資料同步。 您只需配置作業資訊即可同步資料。 提交作業後,源聯結器負責並行讀取資料,並將其傳送到下游轉換或直接傳送到接收器,接收器將資料寫入目標。

Seatunnle的特點:

豐富且可擴充套件的聯結器:Seatunnle 提供了乙個不依賴於特定執行引擎的聯結器 API。 基於此 API 開發的聯結器(source、transform、sink)可以執行在許多不同的引擎上,例如當前支援的 seatunnle 引擎、flink、spark。 聯結器外掛程式:外掛程式設計允許使用者輕鬆開發自己的聯結器並將它們整合到 seatunnle 專案中。 目前,Seatunnle 已經支援 100 多個聯結器,而且這個數字還在增長。 批量流式處理整合:基於Seatunnle聯結器API開發的聯結器,完美相容離線同步、實時同步、全量同步、增量同步等場景。 大幅降低資料整合任務的管理難度。 多引擎支援:預設情況下,seatunnle 使用 seatunnle 引擎進行資料同步。 同時,Seatunnle 還支援使用 Flink 或 Spark 作為聯結器的執行引擎,以適應企業現有的技術元件。 Seatunnle 支援多個版本的 Spark 和 Flink。 JDBC多路復用,資料庫日誌多表解析:Seatunnle 支援多表或全庫同步,解決了 JDBC 連線過多的問題支援多表或全庫日誌讀寫解析,解決了CDC多表同步場景下日誌重複讀解析的問題。 高吞吐量和低延遲Seatunnle支援並行讀寫,提供穩定可靠的資料同步,高吞吐量和低延遲。 完善的實時監控:Seatunnle支援資料同步過程中每個步驟的詳細監控資訊,方便使用者了解同步任務的讀寫資料量、資料大小、QPS等資訊。 ClickHouse是ORAP**分析領域的一顆冉冉公升起的新星,擁有出色的查詢效能和豐富的分析功能,可以幫助分析師靈活、快速地提取海量資料的價值。

將Oracle資料同步到ClickHouse,有助於提高資料處理速度和查詢效能,提供更好的資料管理和分析能力,降低成本,提高經濟效益。

本文介紹如何使用Seatunnle將Oracle資料同步到ClickHouse資料倉儲。

Seatunnel 任務配置和啟動

在此示例中,Oracle 測試表中的 9,999 個資料條目將同步到預設值test0 中。

Oracle 表建立語句,如下所示:

create table test (id int,name varchar(40),quantity int,primary key (id) )

按以下格式將資料插入 Oracle:

insert into test (id,name,quantity) values(1,'banana',1);

ClickHouse的表建立如下:

create table default.test0

id` int32,`name` string,`quantity` int32

engine = mergetree

primary key id

order by id

1、**jdbc

*Oracle JDBC 並將其放入'$seatnunnel_home/plugins/jdbc/'目錄。

2. 編寫配置檔案

在'$seatnunnel_home/config'目錄中,建立配置檔案。

配置檔案內容示例如下:

env sink

3. 啟動任務

在'$seatnunnel_home'目錄中,請使用啟動命令:

bin/seatunnel.sh --config ./config/oracletock.template -e local

此命令將在本地模式下執行您的 seatunnel 作業。

任務完成後,將顯示任務的摘要資訊

進入 ClickHouse,從 test0 中選擇 count(),檢視寫入狀態,看到 9,999 條測試資料已經寫入 ClickHouse。

接下來,我們將詳細介紹從資料庫到clickhouse的資料同步過程。

相關問題答案

    雲計算業務營收不及預期,甲骨文股價跌超12%。

    甲骨文月日的股價在 以上,可能是因為該公司日晚間發布的第二財季財報未及預期。該公司公布調整後每股收益為 美元,略高於 LSEG 前身為 Refinitiv 預計 美元。第二財季營收為億美元,低於LSEG預測的美元億美元。特別是,華爾街分析師在給投資者的乙份報告中指出,甲骨文的雲計算收入低於預期。瑞銀...

    iCloud 相簿同步,輕鬆管理您的回憶

    一 引言 隨著科技的進步,手機已經成為我們日常生活中不可或缺的伴侶。無論是記錄生活中的瞬間,還是與朋友和家人分享快樂的時刻,手機都為我們承載著無數的回憶。然而,隨著時間的流逝,手機越來越多,如何有效地管理和備份這些手機成為亟待解決的問題。幸運的是,iCloud相簿同步功能為我們提供了乙個完美的解決方...

    MySQL主從同步分步詳細構建教程!

    MySQL主從同步是一種流行的資料庫解決方案,允許在多個資料庫伺服器之間進行資料同步。該方案不僅提高了資料備份的效率,還減輕了主資料庫的讀取負載,從而提高了整個系統的效能和可靠性。.MySQL主從同步的基本原理。MySQL主從同步基於二進位日誌。主資料庫在二進位日誌中記錄資料更改,而輔助資料庫通過讀...

    如何取消手機和 iPad 之間的同步?

    當我們使用Apple裝置時,手機和iPad之間的同步通常很方便,但有時也會導致不必要的複雜情況,例如不希望 聯絡人或應用程式在不同裝置之間自動同步。那麼,如何取消此同步呢?這裡有一些簡單的方法可以做到這一點。.通過iCloud取消同步。iCloud 是 Apple 提供的雲儲存和同步服務。要防止資料...

    洋蔥學校 校內同步培訓,簡單易用

    在數字時代,學習習軟體層出不窮,但洋蔥學園APP以其獨特的特色和強大的功能吸引了超過億使用者,成為廣大學生使用者最受歡迎的學習軟體習。洋蔥學園APP採用會員元限時優惠活動買一科送一科,鼓勵學生享受智慧型學習習的樂趣。.多樣化的學習和習服務。洋蔥學校APP覆蓋小學 初中 高中及各專業學科的教材同步課程...