雖然今年的國產化替代和資訊創新化替代聽起來沒有以前那麼高,但作為一般軟體開發公司的參與者,我感覺到國產化的趨勢就像一列已經啟動的高速列車,不斷加速和加速,國產基礎軟體落地機會越來越多,國產軟體的成熟度正在快速提公升。 ETL 工具,也稱為資料整合產品,是一大類軟體,幾乎所有 IT 部門都使用 1 或 2 種不同的工具。 同時,市場上一直沒有好的本地化ETL產品,Gartner排名龍頭的Informatica據說在中國已經賣了上千套,IBM DataStage只會賣得更多,而不是更少,IBM龐大的銷售體系,我想銷量應該非常可觀,而這部分客戶群應該是有能力再次付款的潛在客戶。
作為ETL的老人,ETL擁有近20年的開發、使用、支援、銷售經驗,還通過電子工業出版社出版了一本ETL書籍,據說已經重印了好幾次。 我想利用這個週末來談談ETL(資料整合)工具或產品本地化替代。 我將從ETL本地化替代的需求、ETL本地化替代的現狀和現狀兩個角度來談談ETL本地化替代。
我們先說需求,ETL本地化有需求嗎?需求的風格是什麼?
1 資料庫本地化驅動的ETL本地化:國內有200+個資料庫,每個資料庫都有一些客戶,這不重要,很多客戶購買它是為了滿足統計資料的需求。 重要的是,這兩年確實有很多客戶在一些不太重要、非核心的系統上使用過國產庫,這些資料都要抽取出來,需求悄然來。
2 國產作業系統線上驅動ETL本地化:國產作業系統來了,麻煩大,因為Informatica和DataStage的核心都是C++,這是乙個**煩惱,在早期,DataStage有時需要匹配AIX安裝時的作業系統。 可想而知,國產作業系統的門檻是非常困難的。
3 龐大的 Informatica 和 DataStage 驅動的本地化:兩兄弟都是企業應用時代的產物,具有強大的效能,但總體上都有點沉重。 在這個快餐時代,有時候感覺吃不上一頓熱騰騰的飯菜(比如習學習周期長,很多企業級軟體整合的最佳實踐不是習要學的——有的從業者莫名其妙地認為老子在引領世界)。
4 ETL工具沉澱的企業資料資產保護挑戰:ETL工具是開發和運營的一體化平台,很多大型企業在ETL工具上沉澱了大量的企業資料資產(現在稱為資料元素的處理邏輯),ETL工具是企業花了10年或15年時間沉澱下來的業務邏輯, 而且他們已經花費了數千萬或數億沉澱的企業資產(如果按照資料丟失法計算,丟棄舊的ETL就意味著放棄了數以億計的企業資產)。
5、新技術帶動需求國產化:流批整合、資料結構(Data Fabric)等新技術也是國產化的重要驅動力,國內IT技術領域可媲美A股領先世界,新技術能力只需要乙個PPT,短**即可實現,全球領先, 在彎道超車。
6 其實驅動力很多,再一列,估計沒人看,這個不賺錢的小領域(ETL公司不賺錢,開發工程師工資低,VC不懂,**看不見),真的沒意思。
我們來談談ETL(資料整合)本地化的現狀,用“慘”四個字基本可以清楚,哪些方面是“慘”呢?
1.這個數字是可怕的:如果國內有 200 個資料庫,ETL 工具至少翻了一番,達到 400 個。 幾乎每個資料庫公司都有它,幾乎每個資料公司都有它。
2.幾乎都賺錢了,都很慘:這幾百家公司本著不利於己的精神,專門為他人謀利,幾乎所有的專案都是免費贈送的;或者自己造一輛車,自己開車。
3.摸一頭大象的屁股是不堪的,只是摸摸大象的屁股,準備通過生物編織技術開發出世界領先的超級大象:有少數理想主義和富有的公司準備開發國產ETL工具。 我見過很多這樣的公司,我只能說他們對ETL(資料整合)產品的理解至少比Informatica這樣的公司落後了20年,而原因其實很簡單,幾乎沒有研究機構研究得這麼少;具有使用它經驗的普通開發人員沒有太多事情可做;當時,真正熟悉自己產品的原工程師寥寥無幾,很多外國工程師靠著翻譯幾篇英文ppt來贏得世界,知道這一點的人都明白了。
4.本地化的ETL相當於水壺穿著帶有中文標誌的衣服。 有個笑話說,如果你學習MySQL和PostgreSQL,你可以學習國內80%的資料庫,所以學習Kettle也差不多。
**說“吐槽飽肚子防止腸破,景要長看量”,寫這篇吐槽文章的原因主要是因為我最近看到了一件好事,一件好事,一款真的很好的ETL本地化產品,吹噓保守點,至少是這個ETL產品設計的思路, 對產品的理解,以及保護企業資產和資料資產的視角是一件好事。
簡單來說,對於一些資料密集型客戶,使用Informatica的客戶來說,這款ETL產品至少會讓公司的資產餘額減少數千萬,甚至上億。 我要求了幾張照片給你看,真的很好,希望我沒有洩露任何秘密。