在資料為王的時代,由於本應協同的多個資訊系統之間功能不相關、資訊不共享,無法直接交換資料,從而形成“資料孤島”現象,嚴重阻礙了資料要素的市場化。 同時,網際網絡和移動網際網絡的快速發展進一步加劇了資料碎片化的問題,使得跨平台、跨域資料的整合和利用更加複雜。
在應對大資料時代挑戰的過程中,光道數碼以前瞻性的技術眼光,提出了一種基於數字物件和聯邦湖倉一體架構的湖倉一體化技術。 這項創新技術將聯邦學習在使用者私隱和安全方面的技術優勢與資料湖倉一體的資料治理和深度分析能力相結合,有效打破資料孤島,實現跨組織資料共享和分析。 通過連線多個資料湖倉一體,湖倉一體技術構建統一的資料平台,使企業能夠輕鬆訪問、查詢、分析和挖掘不同的資料,為企業未來的數位化轉型和業務創新提供有力支撐。 隨著技術的不斷發展和應用的不斷深入,聯邦學習作為一種解決資料孤島問題的有效技術,已初步應用於多個行業。
聯邦學習的基本概念
聯邦學習本質上是乙個分布式機器學習框架,可以在保證資料私隱和法律合規的前提下實現資料共享。 其核心思想是,當多個資料來源參與模型訓練時,不需要原始資料的流動,只需通過互動模型之間的引數進行模型的聯合訓練,從而保證原始資料可以保持區域性。
聯邦學習的出現打破了傳統機器學習的集中式資料訓練模式,同時以保護私隱為目標,精心設計了組織、機構、裝置之間的互動,使聯邦學習應用能夠在保護私隱的前提下完成多方資料聯合建模的任務。 這種方法平衡了資料私隱保護和資料共享分析,即資料可用但不可見的資料應用模型。
聯邦學習的技術優勢
傳統的機器學習需要先將資料聚合到中心,然後才能進行模型訓練,隨著資料量的增加,應用成本也會相應增加。 此外,一旦資料離開其原始環境(即域外),就變得難以管理和控制,導致資料私隱洩露和資料安全風險。
相比之下,聯邦學習可以幫助多個機構共同構建乙個系統。
1. 安全、高效、合規的多源資料應用生態。 聯邦學習通過實現跨機構資料整合和共享,為大資料應用提供準確、安全、高效的人工智慧模型構建基礎,從而提公升大資料服務質量,為經濟社會發展創造更多價值。
聯邦學習的應用前景
1.公開政府事務。 在政府資料公開共享過程中,由於缺乏有效的私隱和安全保護技術,資料共享後無法限制資料的使用,導致資料濫用、私隱洩露等問題。 聯邦學習應用可以與大資料開發元件整合,實現資料資源的針對性利用,打破第一部門的資料孤島,提高政務服務的效率和質量,增強第一部門的透明度和可信度。
2.智慧城市。 智慧城市的核心是資料驅動的城市治理,但由於各機構和單位對資料安全共享的嚴格控制,資料難以整合和互聯。 利用聯邦學習,各機構和單位可以形成聯邦協同,共創聯邦學習模型,在保障資料安全的前提下,充分發揮資料的最大價值,助力智慧城市建設發展。
3.金融應用。 對於銀行、電商平台和使用者私有社交網路中的資訊分布,聯邦學習可以為銀行構建跨企業、跨資料平台、跨域的大資料和AI系統提供良好的技術支援,保證多方在合規的基礎上進行深度合作,也為金融行業帶來新的商業模式和增長機會。
4.數字廣告。 由於廣告主、流量平台、消費者和眾多第三方的參與,數字廣告產業鏈分散互通,造成嚴重的資料孤島。 聯邦學習可以提供加密的分布式機器學習技術,使各方能夠遵守私隱和安全法律法規,在不洩露底層資料、保持資料加密(或混淆)狀態的情況下建立虛擬共享模型,從而提高各方的合作效率。
5.醫療應用。 基於生物醫學的演算法或統計研究需要大量的樣本,單一資料來源難以滿足海量資料需求。 聯邦學習應用可以提供多源醫療資料共享平台,在保證資料來源私隱安全的同時,實現資料價值的共享。
聯邦學習作為一種兼顧資料協同和安全私隱的新技術,是保證資料流動有序合規的基本要素。 為各行業打破資料壁壘提供了新思路,在保護資料安全的前提下實現各方互利共贏。 產業鏈上下游要凝聚共識,強化個人資訊保護和資料安全的重要性,積極探索聯邦學習在垂直行業的應用案例,形成行業示範,加快探索聯邦學習行業應用場景。 預計在不久的將來,聯邦學習可以在許多關鍵的開放問題上取得重大進展,將人工智慧的好處帶到社會的每個角落。
優質作者名單 部分內容**:中國資訊通訊研究院。
原標題:中國資訊通訊研究院發布《聯邦學習場景應用研究報告(2022)》。
注:**本文的目的是傳達更多資訊,文章內容僅供參考。