自然語言處理中的注意

注意力是乙個跨多個學科進行科學研究的概念，包括心理學、神經科學，以及最近的機器習。 雖然所有學科都可能對注意力有自己的定義，但他們都同意的乙個核心品質是，注意力是一種使生物和人工神經系統更加靈活的機制。

注意力的研究起源於心理學領域。 從這些研究中得出的觀察結果可以幫助研究人員推斷這種行為模式背後的心理過程。 機器學習習中的注意力概念大致受到人腦中注意力的心理機制的啟發。

這個想法是能夠使用人工神經網路，該神經網路可以在輸入可能具有可變長度、大小或結構的任務上表現良好，甚至可以處理多個不同的任務。 正是本著這種精神，機器學習習中的注意力機制據說受到心理學的啟發，而不是因為它們複製了人腦的生物學。

編碼器的任務是生成輸入的向量表示，而解碼器的任務是將此向量表示轉換為輸出。 注意力機制將兩者聯絡起來。

實現注意力機制的神經網路架構具有不同的命題，這些命題也與它們使用的特定應用程式相關。 自然語言處理 （NLP） 和計算機視覺是最受歡迎的應用之一。

NLP中注意力的早期應用是機器翻譯，其目標是將源語言的輸入句子翻譯成目標語言的輸出句子。 在此上下文中，編碼器生成一組上下文向量，每個向量對應於源句子中的每個單詞。 另一方面，解碼器將讀取上下文向量以生成目標語言的輸出句子，一次乙個單詞。

對於長序列或結構複雜的序列，使用固定長度的向量表示輸入尤其成問題，因為它們被迫表示與較短或較簡單序列相同數量的維度。

這就造成了乙個瓶頸，解碼器對輸入提供的資訊（固定長度編碼向量中可用的資訊）的訪問受到限制。 另一方面，在編碼過程中保留輸入序列的長度允許解碼器以靈活的方式利用其最相關的部分。

後者是注意力機制的工作原理。