時空動力學在自然界中無處不在。 例如，反應擴散過程表現出在化學、生物學、地質學、物理學和生態學等許多學科中常見的有趣現象。 對複雜的時空動力系統進行建模在很大程度上依賴於找到潛在的偏微分方程 （PDE）。
然而，由於先驗知識不足，並且缺乏明確的偏微分方程公式來描述系統變數的非線性過程，在許多情況下，這些系統的演化仍然是一項具有挑戰性的任務。 在這裡，來自中國科學院大學、中國國立大學、美國東北大學和麻省理工學院的研究團隊提出了一種新的深度學習框架PerCNN，該框架在遞迴卷積神經網路中強制編碼給定的物理結構，以促進稀疏資料系統中時空動力學的學習。 大量的數值實驗表明，所提出的方法可以應用於與反應擴散過程和其他偏微分方程系統相關的各種問題，包括前向和後向分析、資料驅動的建模和偏微分方程發現。
研究發現，物理編碼機器學習方法具有較高的精度、魯棒性、可解釋性和泛化性。 該研究題為“編碼物理以學習反應擴散過程”，於2023年7月17日發表在《自然機器智慧型》雜誌上。
通過擴散和反應，可以揭示圖靈模式自主形成的機理。 與許多其他系統一樣，了解其由內在偏微分方程控制的複雜時空動力學是一項核心任務。 然而，許多未被充分探索的系統的閉合式控制方程中的原理定律仍然不確定或部分未知。 機器學習為以資料驅動的方式科學發現這些系統開闢了新的途徑。
最近，機器學習方法推動了資料驅動的科學計算的復興。 這在很大程度上是由於深度學習模型能夠從豐富的標記資料中自動學習變數之間的非線性對映。 然而，植根於深度學習的純資料驅動方法通常從大資料中學習表示，並嚴重依賴大資料，這在大多數科學問題中往往是不夠的。 由此產生的模型通常無法滿足物理約束，並且無法保證其泛化性。
為了解決這一問題，基於物理的神經網路（PNNs）成為一種主要的研究正規化，它利用人們的基礎物理學先驗知識來實現在小資料狀態下的學習。 Pinn在廣泛的科學應用中顯示出有效性。 特別是，這種正規化已被證明在模擬各種物理系統方面是有效的。
然而，佔主導地位的物理資訊學習模型 pinn 通常代表一種持續學習正規化，因為它採用全連線神經網路 （FCNN） 來連續逼近物理系統的解。 由此產生的系統**的連續表示引入了一些限制。 與持續學習模型相比，離散學習方法在將初始條件（IC）和邊界條件（BC）以及不完整的偏微分方程結構硬編碼到學習模型中具有明顯的優勢。 即使沒有任何標記資料，這種做法也避免了優化的不適當性。
因此，研究人員將建立乙個高效、可解釋和可推廣的離散學習正規化，可用於非線性物理系統，這仍然是科學機器學習的乙個主要挑戰。 為此，研究人員提出了一種物理編碼模型，用於在網路架構中對先前的物理知識進行編碼，這與通過物理資訊學習中常見的懲罰損失函式來教授物理模型相反。 具體而言，該模型具有以下主要特徵：
1）與使用FCNN作為解的連續近似器的Pinn主流方法相比，物理編碼模型是離散的（即，解決方案基於空間網格並定義離散時間步長），並將給定的物理結構硬編碼到網路架構中。
2）該模型採用獨特的卷積網路（即-block）來捕捉系統的空間模式，同時通過迴圈單元執行時間進行推進。這個獨特的網路已經（通過數學證明和數值實驗）被證明可以提高其非線性時空動力學模型的表達能力。
3）由於時間的離散化，該網路能夠結合眾所周知的數值時間積分方法（如前向尤拉方法、Runge-Kuta方法）將不完全偏微分方程編碼到網路架構中。在這項研究中，研究人員通過將所提出的網路架構應用於時空動力學科學建模中的各種任務（例如反應擴散過程）來證明其功能。
擬議的網路，即 perrcnn。 該網路的架構由兩個主要元件組成：乙個作為ISG的完全卷積網路，以及一種用於迴圈計算的新型卷積塊，稱為-block（product）。
圖 1：Perrcnn 架構示意圖。 （*
由於學習模型的離散化方案，可以將系統的先驗物理知識編碼到網路架構中，這有助於提出合適的優化問題。 給定 PDE 中的一些現有專案，您可以通過建立快捷方式連線（即基於物理的 FD 卷積連線）將它們編碼到網路中。 這個基於物理的卷積層中的卷積核將使用適當的 FD 模板進行修復，以解釋已知術語。 這種編碼機制的主要優點是能夠在學習中利用不完全偏微分方程。 通過數值算例，證明了這種高速公路連線可以加快訓練速度，顯著提高模型推理精度。 簡而言之，基於物理的卷積連線是為了解釋已知的物理，而 -blocks 是為了學習互補的未知動力學而構建的。 除了不完全偏微分方程外，邊界條件還可以編碼到學習模型中。
受FD方法思想的啟發，研究人員在每個時間步**中對模型應用了基於物理的填充。 未來可以進一步優化研究人員提出了一種新的深度學習架構PerCNN，用於基於稀疏和雜訊資料的非線性時空動態系統的建模和發現。 儘管 PerCNN 在複雜系統的資料驅動建模方面顯示出良好的前景，但由於離散系統的高維性質，它受到計算瓶頸的限制，尤其是當涉及到長期發展的大型 3D 空間域中的系統時。
但是，這個問題將通過時間批處理和多圖形處理單元訓練來解決。 此外，當前模型植根於標準卷積運算，這限制了其對任意計算幾何形狀的不規則網格的適用性。 這個問題可以通過在網路架構中引入圖卷積來解決。 最後，由於 Perrcnn 網路的設計假設底層控制偏微分方程具有多項式形式，因此它在建模獨特的時空動力學方面可能能力較差或過於冗餘，並且其控制偏微分方程是簡約的，但涉及其他高階符號運算子，例如除法、sin、cos、exp、tan、sinh、 日誌，依此類推。儘管PerCNN在對資料驅動的非多項式項偏微分方程系統進行建模方面取得了成功，但如何設計乙個網路，正確地使用有限數量的數學運算子作為符號啟用的函式來提高表徵能力仍然是乙個懸而未決的問題。 在未來的研究中，研究人員將系統地解決這些問題。