為什麼人工智慧會“嚴肅地胡說八道”。

Mondo 文化 更新 2024-01-28

想象一下,向人工智慧 (AI) 聊天機械人詢問乙個不存在的歷史事件,例如“誰贏得了 1897 年美國和南極洲之間的戰鬥?即使沒有這樣的戰鬥,人工智慧聊天機械人也可能提供乙個虛構的答案,例如“1897 年的戰鬥是由美國贏得的,約翰·多伊將軍率領部隊取得了勝利。 這種AI捏造的資訊“嚴肅胡說八道”的情況並不少見。

在職場上,AI“說嚴肅的廢話”的現象被稱為AI幻覺。 “人工智慧幻覺是指人工智慧生成的內容看似合理連貫,但與輸入問題的意圖不一致,與世界知識不一致,與真實或已知資料不一致,或無法驗證。 近日,長期從事自然語言處理、大模型和人工智慧研究的哈爾濱工業大學(深圳)校長助理張敏教授在接受科技記者採訪時表示。

人工智慧幻覺很普遍。

記者梳理發現,AI幻覺是普遍存在的。

今年2月,谷歌發布的AI聊天機械人Bard對詹姆斯·韋伯太空望遠鏡發表了不實言論今年3月,美國兩名律師向當地法院提交了乙份由ChatGPT生成的法律檔案,該檔案格式工整,論據充分,但其中的案例卻是虛假......

儘管OpenAI研究人員在今年6月初發布了乙份報告,稱他們“找到了解決AI幻覺的方法”,但他們也承認,“即使是最先進的AI模型也容易產生謊言,並且在不確定的時期表現出捏造事實的傾向。 ”

總部位於紐約的人工智慧初創公司和機器習監控平台Arthur AI也在8月發布了一項研究,比較了OpenAI、Meta、Anthropic和Cohere開發的大型語言模型中出現幻覺的概率。 研究表明,這些大型模型是幻覺。

目前,雖然國內沒有關於大語言模型中AI幻覺的披露,但可以從相關公開報道中找到線索。

今年9月,騰訊的混合大語言模型正式亮相。 騰訊集團副總裁江杰表示,針對大模型容易“胡說八道”的問題,騰訊優化了預訓練演算法和策略,使混元大模型出現幻覺的概率較主流開源大模型降低了30%-50%。

大模型有可能“嚴肅地胡說八道”。 如果您不與行業特定的資料庫或某些專門的應用程式外掛程式進行互動,這可能會導致它們提供過時或不專業的答案。 科大訊飛研究院副院長、金融科技事業部首席技術官趙謙在第七屆金融科技與金融安全峰會上表示,科大訊飛推出了一些技術解決方案,讓大模型發揮優勢,避短。

AI的錯覺來自自身。

現在,不同的研究工作對人工智慧幻覺進行了不同的分類。 張敏介紹,一般來說,AI幻覺可以分為兩大類:內在幻覺和外在幻覺。

據悉,內在幻覺是與輸入資訊不一致的幻覺,包括與使用者輸入的問題或指令不一致,或與對話的歷史背景資訊相矛盾,例如AI模型會對使用者在同一對話過程中提出同一問題的不同方式給出矛盾的回答。 外在幻覺是指與世界知識不一致或無法通過現有資訊驗證的內容,例如AI模型對使用者提出的事實問題給出錯誤的答案,或編造無法驗證的內容。

近日,騰訊AI Lab聯合國內外多家學術機構發布了關於大模型幻覺研究成果的綜述。 根據這篇綜述,AI幻覺主要集中在大模型相關知識的缺乏、記憶知識的錯誤、大模型無法準確估計自身能力邊界等場景。

從技術原理來看,AI幻覺多是由於AI對知識的記憶不足、理解能力不足、訓練方法的固有弊端以及模型本身的侷限性造成的。 張敏坦言,人工智慧幻覺會造成知識偏見和誤解,有時甚至會導致安全風險、倫理道德問題。

人工智慧幻覺仍然很難消除。

雖然短期內不會完全消除人工智慧的幻覺,但業界正試圖通過技術改進和監管評估來減輕其影響,以確保人工智慧技術的安全可靠應用。

在這個階段,很難完全消除AI幻覺,但可以嘗試緩解它們。 張敏介紹,在預訓練、微調強化習、推理生成等階段運用適當的技術手段,有望緩解AI幻覺現象。

據介紹,在預訓練方面,需要加大對知識密集型資料和高質量資料的選擇和過濾力度在對強化習進行微調過程中,在模型的知識邊界內選擇訓練資料極為重要;在推理生成過程中,可以使用檢索外部知識的方法,使模型生成結果有證據可循。 此外,改進解碼搜尋演算法也是一種可行的解決方案。

騰訊人工智慧實驗室聯合國內外多家學術機構發表的一篇綜述也表達了同樣的觀點,認為多智慧型體互動、指令設計、人機迴圈、模型內部狀態分析等技術也可以緩解AI錯覺。

值得一提的是,哈爾濱工業大學(深圳)自主研發的荔枝文字模型和九天多模態大模型,對上述緩解AI幻覺的方法進行了深入探索,並取得了顯著成效。

這對於開發可信的人工智慧模型是必要的。 張敏介紹,“我們試圖通過視覺資訊來增強語言模型的能力,減少語言模型的外部錯覺問題。通過對多個大模型智慧型體的獨立思考和分析,通過多個智慧型體之間的討論、博弈和合作,增強了回覆的客觀性,減少了AI錯覺。 ”

張敏表示,破解AI幻覺將提高AI系統的實用性、可信度和適用性,將對AI技術的未來發展和社會的發展產生積極影響。 同時,更可靠的人工智慧系統可以更廣泛地應用於各個領域,這將推動技術進步的速度,帶來更多的創新。 未來,要揭穿人工智慧的幻覺,需要在演算法、資料、透明度和監管等方面採取進一步的措施,以確保人工智慧系統的決策更加準確可靠。

*:科技**。

相關問題答案

    關於一本小眾書

    年 本書閱讀計畫。no. 遙遠的向日葵花田 在偷來的閒暇時間第一次讀李娟的作品後,我感動了,喜悅了,喜憂參半。這幾天,我彷彿一直按照李娟的話,向著遙遠的北方走去,躺在向日葵田裡,望著被樹葉和花盤分割的藍天,遠處是醜虎的叫聲,微風吹拂。但事實上,真正的向日葵田並沒有想象中的那麼美麗。缺水,缺勞,靠神吃...

    一本拯救婚姻的計畫書

    婚姻是人類社會中乙個神聖而複雜的話題,自古以來就是人們討論的焦點。婚姻,猶如千圖卷,訴說著無數感人至深的故事。俗話說 好看的面板是一樣的,有趣的靈魂是千分之一 女人修煉十條命,遇見和你一起在婚姻中進步的人,是一種福氣。從古至今,婚姻是神聖的契約,是兩個靈魂的結合,是兩個家庭的婚姻。有人說婚姻是女人的...

    二書一書,這些大學馬上就要公升學了,分數不高還有機會

    二書一書,這些大學馬上就要公升學了,分數不高還有機會 在絕大多數人的學生生涯中,在緊張的高考之後,他們即將面臨選擇未來大學的挑戰。學生通常會根據自己的高考成績選擇最合適的學校或專業。由於高考成績的差異,學生有不同的大學選擇。成績優異的學生往往會優先考慮 或 大學,而分數高於錄取門檻的學生可能更喜歡一...

    我們如何閱讀一本書

    在當今社會,書籍已成為我們獲取知識 提高自身素質的重要途徑之一。但是,有這麼多的書,我們怎麼能有效地吸收其中的精華呢?接下來,本文將介紹一種實用的閱讀方法 精讀,幫助您更好地理解書籍,掌握知識點,提高閱讀效果。.精讀的定義和重要性。精讀是對書籍進行深度閱讀的一種方法,它要求讀者在閱讀過程中保持高度的...

    《殺死乙隻知更鳥》,一本關於勇氣和成長的教科書

    殺死乙隻知更鳥 是美國作家哈珀 李 年的小說。講述了乙個名叫湯姆 羅蘋遜的年輕人,僅僅因為他是黑人,就被誣告犯了 罪,而辯護律師阿蒂克斯 芬奇儘管有證據證明湯姆不是犯罪,但無法阻止陪審團認定湯姆有罪。這種魯莽的罪行導致湯姆死於乙個隨機的槍手之手。雖然故事題材涉及種族不平等 等嚴重問題,但風格依舊溫馨...