聯邦學習打破了資料孤島,釋放了資料的價值

Mondo 科技 更新 2024-02-08

在資料為王的時代,由於本應協同的多個資訊系統之間功能不相關、資訊不共享,無法直接交換資料,從而形成“資料孤島”現象,嚴重阻礙了資料要素的市場化。 同時,網際網絡和移動網際網絡的快速發展進一步加劇了資料碎片化的問題,使得跨平台、跨域資料的整合和利用更加複雜。

在應對大資料時代挑戰的過程中,光道數碼以前瞻性的技術眼光,提出了一種基於數字物件和聯邦湖倉一體架構的湖倉一體化技術。 這項創新技術將聯邦學習在使用者私隱和安全方面的技術優勢與資料湖倉一體的資料治理和深度分析能力相結合,有效打破資料孤島,實現跨組織資料共享和分析。 通過連線多個資料湖倉一體,湖倉一體技術構建統一的資料平台,使企業能夠輕鬆訪問、查詢、分析和挖掘不同的資料,為企業未來的數位化轉型和業務創新提供有力支撐。 隨著技術的不斷發展和應用的不斷深入,聯邦學習作為一種解決資料孤島問題的有效技術,已初步應用於多個行業。

聯邦學習的基本概念

聯邦學習本質上是乙個分布式機器學習框架,可以在保證資料私隱和法律合規的前提下實現資料共享。 其核心思想是,當多個資料來源參與模型訓練時,不需要原始資料的流動,只需通過互動模型之間的引數進行模型的聯合訓練,從而保證原始資料可以保持區域性。

聯邦學習的出現打破了傳統機器學習的集中式資料訓練模式,同時以保護私隱為目標,精心設計了組織、機構、裝置之間的互動,使聯邦學習應用能夠在保護私隱的前提下完成多方資料聯合建模的任務。 這種方法平衡了資料私隱保護和資料共享分析,即資料可用但不可見的資料應用模型。

聯邦學習的技術優勢

傳統的機器學習需要先將資料聚合到中心,然後才能進行模型訓練,隨著資料量的增加,應用成本也會相應增加。 此外,一旦資料離開其原始環境(即域外),就變得難以管理和控制,導致資料私隱洩露和資料安全風險。

相比之下,聯邦學習可以幫助多個機構共同構建乙個系統。

1. 安全、高效、合規的多源資料應用生態。 聯邦學習通過實現跨機構資料整合和共享,為大資料應用提供準確、安全、高效的人工智慧模型構建基礎,從而提公升大資料服務質量,為經濟社會發展創造更多價值。

聯邦學習的應用前景

1.公開政府事務。 在政府資料公開共享過程中,由於缺乏有效的私隱和安全保護技術,資料共享後無法限制資料的使用,導致資料濫用、私隱洩露等問題。 聯邦學習應用可以與大資料開發元件整合,實現資料資源的針對性利用,打破第一部門的資料孤島,提高政務服務的效率和質量,增強第一部門的透明度和可信度。

2.智慧城市。 智慧城市的核心是資料驅動的城市治理,但由於各機構和單位對資料安全共享的嚴格控制,資料難以整合和互聯。 利用聯邦學習,各機構和單位可以形成聯邦協同,共創聯邦學習模型,在保障資料安全的前提下,充分發揮資料的最大價值,助力智慧城市建設發展。

3.金融應用。 對於銀行、電商平台和使用者私有社交網路中的資訊分布,聯邦學習可以為銀行構建跨企業、跨資料平台、跨域的大資料和AI系統提供良好的技術支援,保證多方在合規的基礎上進行深度合作,也為金融行業帶來新的商業模式和增長機會。

4.數字廣告。 由於廣告主、流量平台、消費者和眾多第三方的參與,數字廣告產業鏈分散互通,造成嚴重的資料孤島。 聯邦學習可以提供加密的分布式機器學習技術,使各方能夠遵守私隱和安全法律法規,在不洩露底層資料、保持資料加密(或混淆)狀態的情況下建立虛擬共享模型,從而提高各方的合作效率。

5.醫療應用。 基於生物醫學的演算法或統計研究需要大量的樣本,單一資料來源難以滿足海量資料需求。 聯邦學習應用可以提供多源醫療資料共享平台,在保證資料來源私隱安全的同時,實現資料價值的共享。

聯邦學習作為一種兼顧資料協同和安全私隱的新技術,是保證資料流動有序合規的基本要素。 為各行業打破資料壁壘提供了新思路,在保護資料安全的前提下實現各方互利共贏。 產業鏈上下游要凝聚共識,強化個人資訊保護和資料安全的重要性,積極探索聯邦學習在垂直行業的應用案例,形成行業示範,加快探索聯邦學習行業應用場景。 預計在不久的將來,聯邦學習可以在許多關鍵的開放問題上取得重大進展,將人工智慧的好處帶到社會的每個角落。

優質作者名單 部分內容**:中國資訊通訊研究院。

原標題:中國資訊通訊研究院發布《聯邦學習場景應用研究報告(2022)》。

注:**本文的目的是傳達更多資訊,文章內容僅供參考。

相關問題答案

    加強資料治理,釋放資料價值

    回顧人類社會的發展史,新元素一般都會帶來新的變化。在新一代資訊科技的引導下,資料成為新的生產要素,催生了一批新模式 新業態。資料的全部價值離不開資料治理的持續改進。在以 資料基礎強,智慧型未來 為主題的第二屆資料治理年會開幕式上,中國電子資訊行業聯合會會長陳兆雄強調,加強資料治理,啟用資料要素潛能,...

    回首2023丨變“資訊孤島”為“資料大陸”

    國家紀委監委 陳浩自四川成都報道。四川省成都市紀委監察委員會技術支援室工作人員應當按照規定程式,通過正風市紀委大資料監管平台獲取相關資料資訊。蘇瑤攝。臨近年底,四川省成都市紀委監察委員會技術支援室繼續 下達令 協助核實參與投標企業的具體情況,協助核實近期出差記錄和銀行對賬單,根據 訂單 的要求,工作...

    學習習 R Python,掌握資料科學工具,成為資料大師

    ...

    扎根,獲取結果,釋放資料價值

    月日,由中國電子資訊學會主辦的第二屆資料治理年會暨博覽會在北京展覽館舉行。本屆年會以 夯實資料基礎,智慧型引領未來 為主題,邀請資料治理領域的資深專家 學者 商界領袖同台探討 碰撞思想 輸出觀點。會議期間,中電金信業務分析事業部副總經理李娜在主論壇業績發布會上正式發布了中電金信的 財務資料資產運營 ...

    中國釋放資料元素價值 推動智慧交通發展

    海南網際網絡大會 G 車聯網與智慧交通創新發展論壇日前在海口舉行,各方共商車聯網發展新機遇。隨著新一代資訊科技的不斷演進和計算基礎設施的加速部署,海量資料賦能不斷提公升智慧交通服務的能力 質量和效率。智慧交通,助力提公升交通網路效率 交通是經濟的脈絡,是文明的紐帶。隨著新一輪全球科技革命和產業變革的...