關於 ETL 工具本地化的 85 條思考

Mondo 科技 更新 2024-01-28

雖然今年的國產化替代和資訊創新化替代聽起來沒有以前那麼高,但作為一般軟體開發公司的參與者,我感覺到國產化的趨勢就像一列已經啟動的高速列車,不斷加速和加速,國產基礎軟體落地機會越來越多,國產軟體的成熟度正在快速提公升。 ETL 工具,也稱為資料整合產品,是一大類軟體,幾乎所有 IT 部門都使用 1 或 2 種不同的工具。 同時,市場上一直沒有好的本地化ETL產品,Gartner排名龍頭的Informatica據說在中國已經賣了上千套,IBM DataStage只會賣得更多,而不是更少,IBM龐大的銷售體系,我想銷量應該非常可觀,而這部分客戶群應該是有能力再次付款的潛在客戶。

作為ETL的老人,ETL擁有近20年的開發、使用、支援、銷售經驗,還通過電子工業出版社出版了一本ETL書籍,據說已經重印了好幾次。 我想利用這個週末來談談ETL(資料整合)工具或產品本地化替代。 我將從ETL本地化替代的需求、ETL本地化替代的現狀和現狀兩個角度來談談ETL本地化替代。

我們先說需求,ETL本地化有需求嗎?需求的風格是什麼?

1 資料庫本地化驅動的ETL本地化:國內有200+個資料庫,每個資料庫都有一些客戶,這不重要,很多客戶購買它是為了滿足統計資料的需求。 重要的是,這兩年確實有很多客戶在一些不太重要、非核心的系統上使用過國產庫,這些資料都要抽取出來,需求悄然來。

2 國產作業系統線上驅動ETL本地化:國產作業系統來了,麻煩大,因為Informatica和DataStage的核心都是C++,這是乙個**煩惱,在早期,DataStage有時需要匹配AIX安裝時的作業系統。 可想而知,國產作業系統的門檻是非常困難的。

3 龐大的 Informatica 和 DataStage 驅動的本地化:兩兄弟都是企業應用時代的產物,具有強大的效能,但總體上都有點沉重。 在這個快餐時代,有時候感覺吃不上一頓熱騰騰的飯菜(比如習學習周期長,很多企業級軟體整合的最佳實踐不是習要學的——有的從業者莫名其妙地認為老子在引領世界)。

4 ETL工具沉澱的企業資料資產保護挑戰:ETL工具是開發和運營的一體化平台,很多大型企業在ETL工具上沉澱了大量的企業資料資產(現在稱為資料元素的處理邏輯),ETL工具是企業花了10年或15年時間沉澱下來的業務邏輯, 而且他們已經花費了數千萬或數億沉澱的企業資產(如果按照資料丟失法計算,丟棄舊的ETL就意味著放棄了數以億計的企業資產)。

5、新技術帶動需求國產化:流批整合、資料結構(Data Fabric)等新技術也是國產化的重要驅動力,國內IT技術領域可媲美A股領先世界,新技術能力只需要乙個PPT,短**即可實現,全球領先, 在彎道超車。

6 其實驅動力很多,再一列,估計沒人看,這個不賺錢的小領域(ETL公司不賺錢,開發工程師工資低,VC不懂,**看不見),真的沒意思。

我們來談談ETL(資料整合)本地化的現狀,用“慘”四個字基本可以清楚,哪些方面是“慘”呢?

1.這個數字是可怕的:如果國內有 200 個資料庫,ETL 工具至少翻了一番,達到 400 個。 幾乎每個資料庫公司都有它,幾乎每個資料公司都有它。

2.幾乎都賺錢了,都很慘:這幾百家公司本著不利於己的精神,專門為他人謀利,幾乎所有的專案都是免費贈送的;或者自己造一輛車,自己開車。

3.摸一頭大象的屁股是不堪的,只是摸摸大象的屁股,準備通過生物編織技術開發出世界領先的超級大象:有少數理想主義和富有的公司準備開發國產ETL工具。 我見過很多這樣的公司,我只能說他們對ETL(資料整合)產品的理解至少比Informatica這樣的公司落後了20年,而原因其實很簡單,幾乎沒有研究機構研究得這麼少;具有使用它經驗的普通開發人員沒有太多事情可做;當時,真正熟悉自己產品的原工程師寥寥無幾,很多外國工程師靠著翻譯幾篇英文ppt來贏得世界,知道這一點的人都明白了。

4.本地化的ETL相當於水壺穿著帶有中文標誌的衣服。 有個笑話說,如果你學習MySQL和PostgreSQL,你可以學習國內80%的資料庫,所以學習Kettle也差不多。

**說“吐槽飽肚子防止腸破,景要長看量”,寫這篇吐槽文章的原因主要是因為我最近看到了一件好事,一件好事,一款真的很好的ETL本地化產品,吹噓保守點,至少是這個ETL產品設計的思路, 對產品的理解,以及保護企業資產和資料資產的視角是一件好事。

簡單來說,對於一些資料密集型客戶,使用Informatica的客戶來說,這款ETL產品至少會讓公司的資產餘額減少數千萬,甚至上億。 我要求了幾張照片給你看,真的很好,希望我沒有洩露任何秘密。

相關問題答案

    海豚如何使用該工具?

    海豚如何使用該工具?這是乙個有趣的問題,因為海豚是地球上為數不多的可以使用工具的動物之一。在本文中,我將介紹海豚使用的工具的一些示例,以及它們使用它們的原因和好處。海豚使用工具的一種方式是使用海底的物體來捕捉獵物。例如,澳大利亞鯊魚灣的寬吻海豚就用巨型海螺殼捕魚。他們會把海螺殼夾在嘴裡,然後把魚趕進...

    史前工具“神奇使用”:食物起源的驚人秘密

    在史前時代,人類使用最簡單的工具生存。陶器和石器看似簡陋,但在當時卻是不可或缺的生產工具。例如,如何使用石棍和石板?讓我們度過一段艱難的時光。在古代,生活有最基本的需求 食物 衣服 住所和交通工具。食物無疑是其中的重要組成部分。自古以來,人類就一直在努力獲取食物,食物的加工方式已經從自然採集演變為農...

    WPS文字工具的使用和功能詳解

    一 引言。WPS Office是一款功能強大的辦公軟體,廣泛應用於各種工作和習場景。其中,WPS文字工具是使用者最常用的功能之一,它提供了豐富的文書處理和編輯功能,幫助使用者高效地完成各種文件編輯任務。本文將詳細介紹WPS文字工具的位置 功能和用法,以幫助使用者更好地掌握這個有用的工具。其次,WPS...

    如何使用 PS 透視裁剪工具

    有兩種方法可以使用 PS 透視裁剪工具 方法一 適用於更常規的種植 開啟 Photoshop 並開啟要透視裁剪的影象。.在工具欄中選擇透視裁剪工具。如果找不到該工具,則它可能被其他工具隱藏。您可以按住相關工具圖示並選擇透視裁剪工具。.選擇影象中的四個頂點 使用 透視裁剪 工具,單擊並拖動影象以建立乙...

    叉車衝擊式磨削是構建未來的重要工具

    叉車反擊式粉碎機是一種廣泛應用於各種工程建設和土地開發專案的重型裝置。其主要功能是通過重力和衝擊力壓實土 石材等材料,達到工程要求的緻密性和穩定性。該裝置在基礎設施建設 道路建設 水利工程 礦山開發等領域發揮著重要作用。一 叉車反擊式粉碎機的工作原理。叉車衝擊壓路機的工作原理主要是利用重力和衝擊力將...