金磊 來自 凹飛寺量子位元 | qbitai
被譽為“工業軟體核心”的求解器，多年來一直被國外壟斷
近日，工信部產業發展促進中心等單位舉辦專項競賽（首屆能源電子產業創新大賽），讓國產求解者在電網排程的複雜場景下進行PK。
為什麼求解器如此重要？
其實，無論是地鐵和飛機的排程，還是快遞包裹派送路線的設計，都是這些複雜數學問題計算背後的求解器。
它就像“最強的大腦”，總是能夠在非常大規模的任務中快速找到最優解。
在工業設計、電網排程等關係國計民生的重要領域，只要涉及數位化轉型，求解器提供的智慧型決策能力就無法繞過。
本次大賽冠軍由阿里巴巴達摩院歷時四年自主研發的Mindopt獲得。
它在速度指標和精度指標方面具有優異的效能，有助於在保證電網安全執行的同時，最大限度地降低機組的啟動和關閉成本和執行成本。
由 Dall·e 3 生成。
其實求解器的技術壁壘高，研發難度大，放眼幾年前，這個領域幾乎被國外廠商壟斷，而且長達幾十年之久。
因此，求解器從0到1實現國產自主發展，成熟到可以放心“上電力排程員崗位”的過程，也可以看作是國產求解器發展史的乙個縮影。
經過4年的自主研發，這款軟體其實才剛剛推出1版本 0。
接下來，讓我們翻開這個“磨刀霍霍”的四年，對26個版本的故事進行迭代。
三分鐘？不，最多 15 秒！
讓我們回到2024年。
當時，國內求解器的發展並不是乙個貧瘠的地方，在這個領域已經有一些公司正在蓄勢待發，嶄露頭角。
然而，正如我們剛才提到的，國外商業求解器巨頭已經統治了全球市場20年，最典型的就是被譽為“三巨頭”的Gurobi、IBM的CPClex和FICO的Xpress。
在DALL·E 3.
即使是三巨頭也已經在求解器領域工作了二十年，以積累他們的技術和商業經驗。
究其原因，正是因為求解器涉及的技術壁壘太高，涵蓋了運籌學、計算數學、軟體工程等許多科學領域。
因此，即使國內的求解器已經起步，很多企業還是會選擇自己習慣的成熟穩定的高效能國外求解器：當時的阿里巴巴和達摩院也是一樣的。
然而，在這一年裡，隨著一位國際知名數學家的到來，乙個不可避免的“國產自發”的序幕被徹底拉開。
他的名字叫尹沃濤，是唯一一位在運籌學領域獲得享有盛譽的埃貢巴拉斯獎（2024年獲得）的中國科學家，該獎通常每年只頒發給世界上乙個人。
尹沃濤. 尹沃濤於2024年3月正式加入達摩院，負責領導決策智慧型實驗室。
該實驗室專注於優化求解器技術、時間序列技術、可解釋 AI 技術等同時，在新能源相關**和排程專案中，驗證技術的可行性。
然而，在他加入公司沒多久，團隊在求解器這件事上就遇到了乙個“內部擔憂”的問題——面對中國網際網絡難得的商業規模和複雜性，國外求解器的效能達到了瓶頸，不足。
在一項需要智慧型決策的任務中，該團隊在現有求解器的基礎上提出了兩個解決方案：第乙個解決方案需要半小時，第二個解決方案需要 3 分鐘。
但業務方直接表示：
15秒！使用者最多只能等待 15 秒！
諸如此類的求解器效能跟不上的例子，在團隊內部實踐中越來越頻繁，甚至當時團隊對“內部擔憂”的評價是，現有的求解器都無法解決。
因此，在這種情況下，自我發展的道路似乎是這群“求解狂”的唯一最佳解決方案。
但有一點要說的是，當時三巨頭壟斷了全球求解器市場，並且經歷了幾十年的發展，這期間投入的人力物力是難以想象的。
從頭開始開發高效能求解器真的很難。
不僅存在固有的技術壁壘，尹窩濤的起點也比較高——他想帶領團隊開發自己的通用優化求解器。
這意味著它必須能夠處理廣泛的問題，不僅具有高度的通用性，而且還具有微調特定問題的能力。
這樣一來，如何讓這個求解器覆蓋大量不同的演算法，並對其進行好配置，後續的軟體工程、演算法工程、多核併發等，都成為亟待解決的突破口。
為此，尹沃濤為團隊制定了“兩條腿”的策略：
第一條腿：別人已經實現好的模組，我們也要實現得非常好;第二站：研發下一代技術，探索前沿演算法。 一句話，別人能做的佛法學院必須做，別人做不到的佛法學院也必須做。
目標和戰略都設定了，但在實施過程中仍存在諸多困難，例如，團隊人才的建設成為長期存在的問題。
畢竟，求解器所需的人才是高度跨學科的，不僅要有深厚的數學技能和運籌學知識，還要有數值計算和軟體工程能力。
更冷酷的現實是，2024年，很多高校幾乎沒有完全匹配的專業。
面對這樣的困境，尹窩濤做出了由內吸納人才、在發展中鍛鍊的選擇。
幸運的是，團隊中有幾名學生在數學或電腦科學方面擁有世界一流的背景一些學生在加入團隊之前有使用求解器的豐富經驗。
更有創意的同學們，所有加入團隊的同學，都對自主研發的通用優化求解器有著極大的興趣和熱情，一通過就被“召喚”進來。
據實驗室資深演算法專家、通用優化求解器研發主力之一王孟昌回憶：
起初，我們都摸著石頭過河，通過網際網絡上發布的資訊自學，填補空白。 尹老師還推薦了一本名為《**x方法的計算技術》的書作為必讀書目，其中包含了許多值得學習和借鑑的優秀理論和實踐案例。
對於那些未公開的資料，尤其是特殊演算法，團隊採用的策略是在“猜測”和“驗證”的過程中，一步一步地細化規則，然後對得到的規則進行數學證明，最後“寫入”到求解器中。
當然，這個過程不是閉門造車的，團隊不斷學習現有且易於使用的高效能求解器，以確保自主開發的優化求解器的完整性。
正是通過這種不斷的研究、試錯、改進，達摩院決策智慧型實驗室的通用優化求解器就像蓋房子一樣，從地基上一點一點地逐步建成。
而此時，求解器已被命名為 - mindopt。
上榜了，卻招來了“外來麻煩”。
正如會有很多權威的榜單來評估流行的大模型技術的效能一樣，求解器圈中也有相應的榜單。
經過一年的自我開發和測試，最初的優化求解器已經形成，Yin 和他的團隊決定是時候出去試一試了。
2024年8月，他們將階段性結果，即達摩院自主研發的求解器Mindopt的單純形法模組，提交到國際權威第三方評測Mittelmann的線性規劃單純形法列表中。
而這個樣子，可謂是真正的大片——
打破記錄，贏得第一名！
從結果可以看出，數字“1”代表達摩院自主研發的求解器的最快求解速度，作為參考時間數字“40”表示 mindopt 成功解決了所有 40 個線性規劃研究。
在速度上，它已經是 01的差距超過了老牌巨頭Gurobi的差距。
在這樣的成績下，整個團隊一定非常高興和高興，畢竟自己的“內憂之憂”都會迎刃而解。
然而，誰也沒想到，這樣的榜單一鳴驚人，會招來“外部麻煩”。
正如我們之前提到的，在達摩院決定開發自己的求解器之前，它使用了三巨頭之一的技術和服務。
而正是這家與達摩院合作已久的技術服務商，在看到榜單結果後，突然改變了主意：
事實證明，您正在開發自己的求解器，因此我們將來不會在新版本中向您出售。
要知道，雖然當時達摩院自研的求解器成果驚人，但還是把重點放在了線性規劃問題上然而，在解決實際問題的過程中，仍然存在難度係數較高的非線性規劃和混合整數規劃。
也就是說，達摩院自主研發的求解器還沒有發展到完全獨立的程度。
很多人可能認為，這個巨人卦行為的突然變化，會給達摩學院帶來不小的衝擊，但其實，這已經成為了這群“求解狂”心中的一種安慰：
這一事件堅定了我們開發自己的通用優化求解器的決心！
一方面，團隊實際上在2024年初就開始為非線性規劃等更具挑戰性的研發做準備，並在“外部威脅”爆發後加快了這一程序。
另一方面，阿里巴巴集團在聽說達摩院自研求解器的結果後，大大小小的業務部門也紛紛向達摩院丟擲橄欖枝，想要在自己的場景中嘗試一下。
這給了mindopt更多寶貴的實際操作機會，在一定程度上也加速了向目標邁進的程序，而這個過程在阿里巴巴內部還是乙個雙贏的局面。
根據當年公布的公開資料，阿里雲在整合達摩院自研求解器後，節省了數億元成本
而這，正是mindopt“磨劍四年”故事的第一階段。 用尹窩濤的話來總結：
在這個階段，我們通過單一的方法取得了技術第一名的成績，這對團隊來說是乙個很大的鼓勵，內部要求也相應地得到了提高。
第二階段從 2020 年 8 月持續到 2021 年年中，可以概括為將單一方法演變為兩種方法：除了支援線性規劃問題外，mindopt 還可以解決非線性二次規劃問題。
目前，達摩院求解器已經能夠解決主流的優化問題，包括線性規劃、混合整數線性規劃、大規模網路流、凸二次規劃、半定規劃和一般非線性規劃。
至於第三階段，也就是從2024年年中到現在，尹沃濤的團隊不僅在挑戰混合整數規劃等更難的技術，還融合了深度學習、強化學習，甚至流行的大語言模型，專注於全面開發。
而且，在第二期和第三期的兩年時間裡，從國際榜單的評測結果來看，達摩院自主研發的求解器也多次獲得第一名。 不過，對於榜單的結果，尹窩濤認為：
這更像是以考試為導向的教育，如果你為問題做好了充分的準備，你的成績自然會很好更注重實際場景中的效果。
事實上，達摩院求解器不僅多次在國內外電力相關競賽中奪冠，而且在實際的電網爭奪戰中也證明了自己。
去年，達摩院與南方電網電力排程控制中心合作，發布“電力排程智慧型決策平台”，幫助南方電網總排程員實現排程從15分鐘到秒級，具有經驗豐富的排程員準確率。
最終，歷經四年時間，達摩院自研求解器歷經上百個環節的精心研發、實際測試、25次更新迭代，終於正式發布了其1版本 0。
這也意味著，達摩院自研的求解器已經是堪比世界一流水平的通用優化求解器，可以放心“上手”。
四年磨一劍，但還沒有達到巔峰。
如今，達摩院自主研發的求解器的最新實力也得到了國內高層權威機構的認可。
而且，值得一提的是，本次大賽二等獎使用的基礎求解器，也是採用了達摩院自主研發的求解器開闢的技術，然後根據自身經驗在電源場景中“微調”而成。
那麼現在的達摩院自研求解器是不是已經到了巔峰呢？
對於這個問題，尹沃濤謙虛地回答：
可以說是通用優化求解器的第一梯隊，但不能說是頂尖的。
首先，隨著我國數位化程序的不斷加快，越來越多的大規模場景需要涉及智慧型決策及其背後的優化求解器。
在這個過程中，正是響應了“實踐是檢驗真理的唯一標準”這句話，只有不斷嘗試、糾正錯誤、改進迴圈，才能真正提公升自己的能力。
其次，在談及國外老牌求解器巨頭的過程中，尹沃濤也坦言：
他們需要通過觀察產品形態的演變來學習快速識別模式的能力。 除了在投入產出比的計算和風險控制方面，還需要參考一些成功的國外企業。
此外，王夢昌認為，也要向他們學習十年專注、堅持一件事的精神。
對於達摩院自主研發的求解器下一步要突破的技術難點，尹沃濤表示：
應降低使用門檻。 如何使流程更加自動化是關鍵。 大模型的快速發展是乙個很好的機會。
例如，結合我國工業場景的實際需求，達摩院自主研發的求解器陸續推出了自己的建模語言、引數調優器、優化平台。 今年 8 月，我們構建了用於決策和推理的大模型，並推出了“AI 優化工程師”Mindopt Copilot。
對於達摩院自研求解器現在服務的能源、雲計算、電商、金融等各個行業的使用者，他們不需要了解複雜的數學或程式設計知識，直接使用自然語言提問，“AI優化工程師”會自動將問題轉化為數學模型，計算出最優答案。
這屬於“達摩學院必須做別人做不到的事情”的故事的一半。
從長遠來看，以乙個需求為起點的“四年磨一劍”的故事，也讓人想起了計算機發展的歷史。
也正是因為巴貝奇為了簡化計算，提出了微分機和分析機，ADA意識到數字的處理能力可以用於任何形式的資訊，這樣數字時代的種子才能在一百年後開花結果。
科技的進步，不僅需要無數有遠見的人的創造性想法，更需要無數的小進步。
值得期待的是，達摩院播下的國產通用求解器種子，未來能夠產生怎樣的意想不到的成果。