作為一名IT資深人士,我在資訊行業工作了20年,做過軟體開發和DBA,現在主要專注於大資料技術領域。 在這個過程中,我也有幸親身體驗和見證了公司的數位化轉型之旅。作者:劉偉,華潤數科技術總監。
本文基於華潤數科技術總監劉偉在2023星際峰會上的演講。
華潤集團是國資委直管的重點國有骨幹企業,業務涵蓋零售、房地產、製造業等領域,如塞斯邦、五豐、香港置地、永珍人壽等,與人們的日常生活息息相關。
華潤數碼是華潤集團的直屬子公司,成立於2024年。 早期,華潤數字是華潤集團的IT管理部門,現已發展成為業務覆蓋全國各地的獨立業務部門。
依託集團多元化的產業優勢,華潤數字致力於成為數位化行業可信賴的引領者,並以此方式致力於推動華潤集團的資訊化業務。 然而,隨著業務的發展和對實時資料應用需求的不斷增加,華潤數字的傳統資料架構面臨著諸多挑戰。
華潤最初的商業模式是傳統的,大部分技術架構和技術棧都使用傳統的國外商業軟體。 然而,隨著業務的發展,對實時資料應用的需求也隨之增加,原有的MPP架構面臨新的挑戰
CR早期資料分析平台的架構。
原來華潤是To B的實體業務,主要面向內部企業,使用者數量相對有限。 隨著業務逐漸向ToC方向發展,併發使用者數量呈指數級增長,業務資料量也隨之增加,導致查詢效能捉襟見肘。
早期華潤主要從事批量處理業務,財務管理資訊化等業務基本都是T+1時效。 隨著業務的發展,過去的線下資料同步方式已經不能滿足營銷、銷售等一些業務的高實時性要求。
原有的資料架構多為國外商用產品,無法滿足企業數位化過程中資訊化創新和國產化的要求,因此需要從技術平台的基礎上實現資訊創新的公升級,提高資訊系統的安全性和可維護性。
我們在資料分析中使用了很多不同的產品,比如ClickHouse、Elasticsearch、大資料整合等,這給研發和運維帶來了很大的困難,對運維的要求也增加了不少。
針對上述資料應用中遇到的問題,經過多方選型,華潤數字選擇基於StarRocks&Flink CDC構建開源實時數倉解決方案,提供分鐘級、秒級資料同步和超快速分析查詢能力,解決華潤在資料應用方面面臨的問題,管理資料資產, 實現各類業務營銷資料的統一應用和數位化運營。
原有的Snowflake客戶訂單系統(OMS)採用MySQL技術架構,通過排程將資料同步到Greenplum,經常會延遲資料同步,查詢多表相關報表的速度非常慢,資源利用率非常高,給運維帶來很大的困難。
在 Snowflake 的客戶訂單系統中,基於 StarRocks 的架構優化,Snowflake 的業務實現了強大的實時分析能力,大大提公升了查詢效能,減輕了開發工作負擔,及時響應了業務的快速變化,提公升了一線人員的資料分析體驗,大大提公升了客戶滿意度。
華潤置地客戶資料平台旨在打通各種業態的客戶資料,客戶中心形成統一的客戶標籤,賦能前端業務。 為此,該平台需要乙個非常強大、高效能的基礎。
對比Starrocks、Hive+Trino、Impala+Kudu、ClickHouse和POC4種方案,得出以下結論:
基於STARROCKS的CDP解決方案可以大幅降低硬體成本,快速實現高效能,而STARROCKS結合多種技術棧,大幅降低運營成本。 在實際業務場景中,StarRocks 可以支援離線、實時、流批量整合方案。
更新資料平台後,華潤置地能夠更準確地理解和滿足客戶需求,提高客戶關係管理的效率和效果,為業務發展提供有力支撐。
華潤永珍實時營銷場景主要圍繞會員精細化運營,以會員積分和許可權管理為營銷手段,通過多渠道觸發工具將營銷內容高效傳達給目標消費者會員,實現精準營銷。
此外,原有的營銷環節涉及多個平台,需要人工參與,實現營銷事件的觸發和營銷發布規範的觸發,以秒級匹配業務資料的全鏈路響應。
華潤威翔基於星洛克對底層資料體系的支援,實現一站式營銷流程自動化和實時精準營銷,提公升營銷效率,大幅提公升營銷效果,帶來顯著的商業價值。 基於星洛克對底層資料系統的支援,華潤威祥實現了一站式營銷流程自動化和實時精準營銷,不僅提公升了營銷效率,還大大提公升了營銷效果,帶來了顯著的商業價值。
在永珍生活跨週期、多維度的資料上報場景中,企業希望對使用者採集和驗證進行多維度的綜合分析,資料維度相當多。 原有的技術架構支援業務需要保留詳細資料,資料量高達1億,因此看板的互動體驗對於業務人員來說也略顯不足。
使用 StarRocks 作為技術基礎後,儲存資料從 1 億減少到 100 萬,大大優化了儲存成本和運營成本,並以資料處理效率為業務運營提供了有力支撐。
“通過與 Starrocks 合作,我們能夠更快速地響應業務變化,更準確地滿足客戶需求,這不僅提高了業務效率,還帶來了真正的商業價值。”
2024年10月,華潤數字首次使用StarRocks資料庫,經過一段時間的POC和應用,StarRocks在雪花場景中得到了客戶的高度認可。 第一次合作,讓我們體驗到了 StarRocks 在效能和運維便利性的驚喜,也給了我們更多內部場景使用的信心。
基於近兩年華潤數科內部合作的順利進展和對外業務拓展的需要,華潤數科推動業務合作更深入、更緊密,與星洛克商業化公司荊洲科技簽署戰略合作協議,提公升雙方合作價值,實現商業共贏。
感謝星洛克和荊洲科技對華潤數科的大力支援,作為使用者和產品合作夥伴的推動者,我們也期待更多應用和更多業務場景的深入發展。
1.現場回放。 如果您對本次演講感興趣,請點選進入峰會官網(檢視現場回放。 2.ppt獲取。 如果您需要獲取本次峰會的PPT資料,可以在荊州科技的後台回覆峰會。