今天我想告訴你一篇關於2024年1月發表在《生物資訊學簡報》上的一篇文章注意力機制應用於藥物設計回顧。 本文以目前主流的注意力導向方法的原理及其在藥物發現中的優勢，並進一步討論它們在藥物開發的各個領域的應用（從類藥物分子篩選和靶標結合到分子特性**和分子生成任務等）。 儘管資料質量和模型可解釋性仍然是未來需要克服的挑戰，但在未來基於注意力機制的模型此次深入研究，將迎來醫藥領域的革命性突破，顯著加快藥物研發步伐。
傳統的藥物發現方法通常涉及：廣泛的實驗和人工篩選這是乙個耗時且成本高昂的過程，即從藥物發現到上市需要十多年的時間，投資數十億美元。 在這個過程中，研究人員需要進行大量的實驗來評估分子的活性、毒性和藥代動力學等特性。 這種反覆試驗的過程可能導致許多潛在的候選藥物被淘汰，從而增加開發成本。
跟現代人工智慧技術藥物發現領域發生了革命性的變化。 基於注意力機制的語言模型，如GAT、Transformer、BERT和GPT，可以更快、更準確地處理大規模資料。 在藥物篩選在這個階段，這些方法可以快速準確地篩選大量化合物，以加速潛在候選藥物的發現。 其次，在藥物合成設計它還可以幫助設計新的分子結構，以提高合成的效率和成功率。 在臨床試驗人工智慧模型在藥物風險評估和精準醫療方面也表現出色。 通過分析大量資料，它可以幫助醫生為患者選擇最佳治療方案（圖1）。
由此可見現代人工智慧技術提高了效率，降低了成本，並為未來的藥物發現方法帶來了更具前瞻性的發展
圖1 藥物設計的相關應用。
2.1 注意力機制的原理
2014年，Bahdanau等人首次注意力機制
它用於機器翻譯。 在處理序列資料的過程中，模型自適應地將注意力分配到不同的序列位置，以捕捉每個單詞的重要性，使模型能夠專注於輸入序列的不同部分。 注意力分數是通過計算 q 和 k 之間的相關程度，然後將這些分數用於 v 的加權平均值來獲得最終的注意力表示。 公式是。
長時間關注如圖 2 所示，引入了多個獨立的注意力頭，每個注意力頭都是獨立計算的。 最後，對多個磁頭的輸出進行拼接或加權，形成最終輸出。
圖2 多頭注意力機制的架構。
2.2 變壓器架構
變壓器型號整體架構如圖 3 所示，其中變壓器的自注意力機制在表徵分子時捕獲原子之間潛在的長距離相互作用。 與遞迴神經網路 （RNNS） 相比，Transformer 具有並行性，能夠高效處理大規模資料集。它還可用於親水性、脂溶性和生物活性等分子性質。 另外Transformer 可以用作生成模型，通過學習化學的空間分布來生成具有新結構的分子
現在變壓器在小分子藥物的各個領域都有廣泛的應用。在藥物相互作用**變壓器編碼器整合了不同藥物組合的特徵，以**藥物間的相互作用。 在抗癌藥物反應**Transformer 可以提取藥物分子特徵，將轉錄組資料結合到**癌症藥物反應中。 在蛋白質配體是相互互惠的**在任務中，Transformer 編碼器可以提取蛋白質-配體相互作用特徵（字元和片段水平特徵）以確定蛋白質和配體之間的親和力。 此外，在生成模型Transformer 可以學習化合物 SMILES 語言潛在空間中的分子結構和性質，並使用解碼器從潛在空間進行解碼，以在給定條件下生成具有所需性質的新分子。
圖 3 Transformer 模型架構示意圖。
3.1.藥物間相互作用**
注意力機制在藥物相互作用任務中也起著重要作用。圖 4 說明了當前主流的基於注意力的 DDI 模型。 例如，在SA-DDI模型中，提出了一種新的亞結構感知注意力方法，以幫助藥物化學專家了解對DDI貢獻最大的關鍵亞結構**。 另外Transformer 模型在捕獲每個元素與藥物和基因序列中的元素之間的相關性方面也具有一定的優勢例如，attentionddi是乙個雙胞胎自注意力多模態神經網路，它使用對比學習方法來測量化合物的類藥物特性。 MDF-SA-DDI 方法採用多源藥物融合、多源特徵融合和 Transformer 自注意力機制，整合來自不同資料來源的資訊，從多個特徵維度獲取資訊，增強了模型的表達能力。
圖4 ** 藥物相互作用中注意力機制的模型。
3.2 分子性質**
變形金剛模型在分子性質的任務上也有一定的突破。圖 5 說明了當前主流的基於注意力的分子特性**模型。 例如，ABT-MPNN模型巧妙地將自注意力與訊息網路相結合，改進了分子表徵的提取方法，並在多個屬性任務中取得了競爭優勢。 另外DHTNN 模型引入BEAF啟用函式，利用雙向注意力變換器提取分子表徵，使模型能夠自適應地更新權重。 Dreng團隊提出的pharmhgt在捕捉異質分子圖譜特徵方面表現出色，即通過提取原子水平、官能團水平和節點水平的三層檢視特徵，得到分子的最終表示向量。 結果表明，引入的注意力機制還可以使模型更可靠地區分不同分子特徵的重要性，並自適應更新模型的權重，對下游任務有幫助。
隨著藥物設計領域的快速發展，注意力機制可以捕捉到分子結構之間的複雜關係，提高任務的準確性，增強模型的可解釋性
圖5：與任務相關的分子特性模型。
在本文中，作者描述了注意力機制和相關模型在藥物設計中的應用。 從藥物分子篩選和特性**到分子生成，注意力機制具有顯著的優勢。 展望未來，儘管在資料質量、模型可解釋性、計算資源和複雜性方面仍存在挑戰，但我們可以期待未來一種更有效的、基於理論的、基於注意力機制的方法進一步加速藥物設計並帶來突破性發展。
引用
cummings, m. d. &sekharan, s. structure-based macrocycle design in small-molecule drug discovery and **metrics to identify opportunities for macrocyclization of small-molecule ligands. j. med. chem.本文是AIDD PRO接受的外部貢獻，文章中表達的觀點僅代表作者本人觀點，並不代表AIDD PRO平台，如發現任何侵犯版權或其他資訊對發布內容的誤解，請聯絡AIDD PRO（請新增***sixiali fox59）進行刪除和修改。
本文為原創內容，未經授權禁止**，授權後**也需註明出處。 如有任何疑問，請發郵件至sixiali@stonewisecn