亞信安特資料庫資料並行載入工具的實現 (2).

Mondo 科技 更新 2024-01-31

本節簡要介紹了 Parallel Loader 支援的一些功能。

1) 支援表型別

並行載入工具支援普通表和分割槽表。

2)支援指定匯入字段

該檔案不必包含表中的所有字段,您可以指定匯入某些字段,但指定的字段數必須與檔案中的字段數相同。

3)支援匯入部分記錄

並行載入工具允許您指定 where 條件,以便僅將滿足條件的記錄匯入資料庫。

4) 自動生成序列字段值

該工具支援序列字段值的自動生成,部分表字段將預設值設定為序列,可能需要由資料庫自行生成,不包含在檔案中。

當欄位是非分片鍵時,我們可以使用資料庫自帶的函式,在插入時自動生成欄位的值。 但是,當字段是分片鍵時,我們需要先在載入工具中生成值,然後根據值進行分片,插入到對應的 DN 節點中。

5)匯入沒有分片鍵的檔案

如果檔案不包含分片鍵且沒有預設值,則載入器將該字段設定為 null 並將其插入到相應的節點中。

6) 觸發器

當匯入的表包含觸發器時,並行載入器不做特殊處理,當觸發器涉及非本地資料節點時,不支援並行載入器。 例如,如果某個表使用了觸發器,則觸發器會插入另乙個表,但分表與原表不同,涉及多個資料節點。

7) 不支援輔助表

antdb具有二級表功能,用於優化SQL語句的效能,該錶儲存了資料表的相應資料。 當資料表有輔助表時,並行載入工具只能將檔案匯入到資料表中,不會修改對應的輔助表。

8)支援編碼轉換

並行載入工具支援資料編碼轉換,當檔案和資料庫中的資料編碼不同時,工具會轉換檔案中的資料編碼,然後插入到資料庫中。

與copy命令相比,並行載入工具有效提高了資料載入效率。 由於表字段、型別和資料的數量不同,並行載入工具的乘數與複製命令的乘數並不完全相同。 下面比較了TPCC資料匯入的效能。

在1000個倉庫的資料中,有1億條記錄需要匯入到BMSQL Stock表中,資料檔案Stock中CSV 檔案的大小為 29GB。 測試的 ANTDB 集群有 2 個 DN 主節點。 在該場景的測試中,載入效率提公升了約7倍,載入速度對比圖如下圖

BMSQL STOCK表的結構如下:

本文介紹antdb並行載入工具的實現和使用方法,通過多執行緒實現檔案資料的並行處理,並載入到antdb資料庫中,有效提高載入效率。

相關問題答案

    螞蟻資料庫亞信AMH通過CMMI5認證

    最近湖南亞信安徽科技 以下簡稱 安徽亞信科技 通過CMMI五級認證。這標誌著亞信科技在軟體研發能力 流程組織能力 專案管理能力 解決方案交付能力等方面已達到國際先進水平,具備為通訊 金融 交通 能源 物聯網等行業客戶提供國際高標準產品和服務的能力。圖 亞信安徽已通過CMMI認證。CMMI代表 Sof...

    亞信螞蟻資料庫是實時流資料處理的先驅

    年中國PostgreSQL資料庫生態大會在北京成功舉辦,湖南亞信安徽科技受邀參展,榮獲 年度最佳創新企業 稱號。ANTDB T產品線負責人洪建輝在大會上發表了題為 ANTDB融合資料庫 實時流資料處理引擎揭秘 的主題演講,深入了解了ANTDB在實時流資料處理方面的研發和實踐。antdb流式資料庫系統...

    亞信螞蟻資料庫引領中文資訊處理標準化創新

    近日,亞信科技ANTDB資料庫再獲殊榮,順利通過GB 資訊科技漢語編碼字符集 最高執行級別 級 檢測認證,成為首批達到該認證標準的資料庫產品之一。此次認證,既是對ANDB資料庫卓越技術實力的肯定,也是對其積極執行國家政策和標準的高度認可。GB 是我國自主制定的漢字編碼字符集的強制性國家標準,包括漢字...

    亞信安口銀行榮獲“2023中國資訊創新資料亞信安口資料庫優秀品牌”。

    近日,由全球新經濟產業第三方資料探勘分析機構iimedia Research主辦的 第二屆 中國資訊與創新產業大會 在廣州圓滿落幕。中國資訊創新產業拳頭獎 在大會上揭曉。亞信安徽安輝安發銀行從眾多參展產品中脫穎而出,榮獲 中國資訊創新產業拳頭獎 並榮獲 中國資訊創新資料庫優秀品牌 稱號。圖 亞信安徽...

    亞信螞蟻資料庫再添三家“信夥伴”,開啟合作新篇章

    近日,亞信安徽ANTDB資料庫迎來了三家新的 信用夥伴 南京一鳴 廣東紅書和北京舒建。這三位新合夥人的到來,讓亞信安徽安信資料庫的 朋友圈 增長不少。圖 ANDB與上述產品之間的相互相容性證書。這三位新搭檔可不是普通的人物。南京一鳴學生工作管理與服務平台軟體 廣東紅書私隱資料保護系統v 和 Data...