人或組織無時無刻不在面臨各種決策,大資料為決策優化帶來了很大的幫助。 為了將不說話的資料變成決策的助手,就必須採用優化建模的方法,這屬於著名數學家、中科院院士袁亞祥的研究。
12月16日上午,袁亞翔在深圳市創新發展研究院“科技創新院士報告廳”作了題為《'智慧型決策'背後的大資料與優化》》的科普講座。 整場講座通俗易懂,不僅讓觀眾感受到了“數學之美”,也引發了對大資料應用的諸多思考。
袁亞翔2024年畢業於湘潭大學,26歲獲劍橋大學博士學位現任中國科學技術協會副理事長、國際工業與應用數學聯合會主席主要研究非線性優化計算方法,在信任域法、準牛頓法、非線性共軛梯度法、子空間法等方面做出了重要貢獻。 他在非線性規劃方面的研究成果在國際上被譽為“袁引理”。
大資料問題就是優化問題。
我不是在做大資料研究,但數學的很多領域都與大資料有關,比較傳統的是統計學、計算和優化。 “優化是我的研究領域,所以我想談談優化和數學之間的關係——大資料可以通過優化來建模。 ”
資料往往有乙個觀察結果。 比如,如果乙個企業的資料量很大,發現了什麼問題,從中得出了什麼結論,這就是資料的觀察價值,也是資料的本質。 從數學研究的角度來看,它是資料的對應關係,即函式。 研究資料的本質是找到對應關係,通過編寫函式,將兩者的誤差降到最低,這就是優化的問題。 袁雅祥進一步解釋道。
例如,袁雅翔說,人們希望拍攝的照片盡可能清晰,盡可能少的儲存空間,這需要優化。 這個問題是乙個工程問題,但實際上它可以轉化為乙個數學問題,乙個求解線性方程組的問題。 再比如,同一型別的觀眾會給電影打分,通過分析數學語言矩陣,可以推斷出不同觀眾的評分結果,從而指導電影的製作,這也是大資料在優化中的應用。
總而言之,很多大資料問題都歸結為優化問題。 優化無處不在,通俗地說,就是挑選最好的。 袁雅祥說。
中國人運用優化和運營規劃最著名的例子是古代的天際賽馬。 山還是那座山,馬還是一樣的三匹馬,不同的對決可以得到完全不同的結果。 袁雅翔隨後給觀眾端上了一碗“雞湯”:“在生活中,我們每個人都會抱怨自己資源匱乏,其實優化和組合會讓結果有本質的區別,很多問題就看我們是否做出了最好的決定。 ”
近代中國優化理論應用的代表人物袁雅祥認為,數學家華羅庚是第乙個被推薦的。 華羅庚曾大力將優化方法推廣到全國各地的工廠、醫院、礦山,為當時國家的經濟建設做出了重要貢獻。
優化**。
關於優化方法,袁雅翔為觀眾一一科普。
第一種是梯度法,“就像爬山一樣,優化和攀登都是在尋求'最高'的價值,爬山就是要達到'最高'的高度,優化就是要求結果'最好',可以沿著最陡峭的方向爬到最高點。 袁雅祥生動的解釋道。
優化也可以採用“替代方向”方法。 “你要做決策的問題涉及很多變數,所謂交替方向,就是在不同階段、不同時間只取乙個變數,輪流解決問題。 就像乙個大企業,涉及很多分支機構,老闆一次只關注其中乙個,解決乙個問題。 袁雅祥解釋道。
如果乙個問題涉及兩部分,並且兩部分之間沒有耦合,則可以使用可分離的優化方法。 袁雅祥舉個例子,乙個圍棋盤上擺滿了不規則的黑白棋子,最快的數總數方法是兩個人同時數一色的棋子。 “這相當於乙個優化問題,用兩個部分找到'最小值',這兩個部分是不相關的,它們可以同時完成,每個部分都變成乙個較小的問題。 袁亞翔說,“現實生活中也是這樣,乙個大專案可以分成兩個子專案,兩個子專案互不關聯,變成兩個小問題,所以大問題可以轉化成小問題,再小的問題也可以不斷分解。 ”
子空間也是處理優化問題的常用方法,袁亞祥說:“大資料問題和高度複雜的問題都是超高維問題,所謂子空間方法就是將大引數問題轉換為低維空間來解決,這樣問題就簡單化了。 ”
目前,人工智慧、機器科學、習中應用非常廣泛的一種優化方法是隨機梯度法。 袁雅祥舉例說,最好管理乙個城市,滿足每個市民的平均訴求。 但是不可能把每個人的需求加起來就能滿足,所以可以隨機挑一些,取平均值,取子集,用部分代替整體,這就是隨機梯度法的基本思想。
此外,隨機技術和多目標優化也是生活中常用的優化方法。 “世界上任何乙個決策都是乙個優化問題,雖然一般不需要用數學公式來推導出如何做出決策,但要有這種意識,用優化的思想武裝我們的頭腦。 袁雅祥說。
直面技術差距。
有聽眾問,優化理論與創新的實施面臨哪些挑戰?對此,袁亞翔回答說,將優化理論應用到實踐中可以產生巨大的效益,但離真正的實施還很遙遠。 “這也要求我們與從事科學研究的人、從事技術研究的人甚至企業家更緊密地合作。 袁亞祥說,“國家現在鼓勵更多的科技工作者做落地,包括中國工業與應用數學學會也非常鼓勵科學家做落地。 一方面,希望科學家走出實驗室,與企業和產品合作另一方面,也希望企業家在企業發展中遇到問題時,主動與科學家對話。 雙方的共同努力,可以促進企業和行業合作的優化。 ”
另一位觀眾問道,在數字經濟時代,演算法和算力之間的競爭非常關鍵,中國與發達國家相比有哪些優勢和劣勢
袁雅翔用中國人熟悉的算盤來回答這個問題。 他說,我國製造計算機的能力一直走在世界前列,相當於我們的算盤建得好,但計畫是否也很好,目前還不是。計算機的口頭禪是演算法,而計算機應用、大資料處理、大模型、人工智慧最終都需要演算法的支援。
袁雅祥進一步回答,中國在演算法方面的研究在世界上比較先進,但不是最先進。 “我們在理論研究和演算法建設方面並不弱於歐美,但在將演算法轉化為軟體方面卻落後了。 從方法到演算法,從程式到軟體,兩者之間存在差距。 袁雅祥說。
袁亞翔認為,與發達國家相比,中國在科學上落後不了多少,但在技術上卻遠遠落後,在工程上更是落後,這可能與科技體系有關。 一方面,國有科研院所的評價體系不鼓勵,另一方面,企業沒有能力和政策支援去做。 這是乙個值得深思和面對的重要問題。 袁雅祥最後說道。