想象一下,向人工智慧 (AI) 聊天機械人詢問乙個不存在的歷史事件,例如“誰贏得了 1897 年美國和南極洲之間的戰鬥?即使沒有這樣的戰鬥,人工智慧聊天機械人也可能提供乙個虛構的答案,例如“1897 年的戰鬥是由美國贏得的,約翰·多伊將軍率領部隊取得了勝利。 這種AI捏造的資訊“嚴肅胡說八道”的情況並不少見。
在職場上,AI“說嚴肅的廢話”的現象被稱為AI幻覺。 “人工智慧幻覺是指人工智慧生成的內容看似合理連貫,但與輸入問題的意圖不一致,與世界知識不一致,與真實或已知資料不一致,或無法驗證。 近日,長期從事自然語言處理、大模型和人工智慧研究的哈爾濱工業大學(深圳)校長助理張敏教授在接受科技記者採訪時表示。
人工智慧幻覺很普遍。
記者梳理發現,AI幻覺是普遍存在的。
今年2月,谷歌發布的AI聊天機械人Bard對詹姆斯·韋伯太空望遠鏡發表了不實言論今年3月,美國兩名律師向當地法院提交了乙份由ChatGPT生成的法律檔案,該檔案格式工整,論據充分,但其中的案例卻是虛假......
儘管OpenAI研究人員在今年6月初發布了乙份報告,稱他們“找到了解決AI幻覺的方法”,但他們也承認,“即使是最先進的AI模型也容易產生謊言,並且在不確定的時期表現出捏造事實的傾向。 ”
總部位於紐約的人工智慧初創公司和機器習監控平台Arthur AI也在8月發布了一項研究,比較了OpenAI、Meta、Anthropic和Cohere開發的大型語言模型中出現幻覺的概率。 研究表明,這些大型模型是幻覺。
目前,雖然國內沒有關於大語言模型中AI幻覺的披露,但可以從相關公開報道中找到線索。
今年9月,騰訊的混合大語言模型正式亮相。 騰訊集團副總裁江杰表示,針對大模型容易“胡說八道”的問題,騰訊優化了預訓練演算法和策略,使混元大模型出現幻覺的概率較主流開源大模型降低了30%-50%。
大模型有可能“嚴肅地胡說八道”。 如果您不與行業特定的資料庫或某些專門的應用程式外掛程式進行互動,這可能會導致它們提供過時或不專業的答案。 科大訊飛研究院副院長、金融科技事業部首席技術官趙謙在第七屆金融科技與金融安全峰會上表示,科大訊飛推出了一些技術解決方案,讓大模型發揮優勢,避短。
AI的錯覺來自自身。
現在,不同的研究工作對人工智慧幻覺進行了不同的分類。 張敏介紹,一般來說,AI幻覺可以分為兩大類:內在幻覺和外在幻覺。
據悉,內在幻覺是與輸入資訊不一致的幻覺,包括與使用者輸入的問題或指令不一致,或與對話的歷史背景資訊相矛盾,例如AI模型會對使用者在同一對話過程中提出同一問題的不同方式給出矛盾的回答。 外在幻覺是指與世界知識不一致或無法通過現有資訊驗證的內容,例如AI模型對使用者提出的事實問題給出錯誤的答案,或編造無法驗證的內容。
近日,騰訊AI Lab聯合國內外多家學術機構發布了關於大模型幻覺研究成果的綜述。 根據這篇綜述,AI幻覺主要集中在大模型相關知識的缺乏、記憶知識的錯誤、大模型無法準確估計自身能力邊界等場景。
從技術原理來看,AI幻覺多是由於AI對知識的記憶不足、理解能力不足、訓練方法的固有弊端以及模型本身的侷限性造成的。 張敏坦言,人工智慧幻覺會造成知識偏見和誤解,有時甚至會導致安全風險、倫理道德問題。
人工智慧幻覺仍然很難消除。
雖然短期內不會完全消除人工智慧的幻覺,但業界正試圖通過技術改進和監管評估來減輕其影響,以確保人工智慧技術的安全可靠應用。
在這個階段,很難完全消除AI幻覺,但可以嘗試緩解它們。 張敏介紹,在預訓練、微調強化習、推理生成等階段運用適當的技術手段,有望緩解AI幻覺現象。
據介紹,在預訓練方面,需要加大對知識密集型資料和高質量資料的選擇和過濾力度在對強化習進行微調過程中,在模型的知識邊界內選擇訓練資料極為重要;在推理生成過程中,可以使用檢索外部知識的方法,使模型生成結果有證據可循。 此外,改進解碼搜尋演算法也是一種可行的解決方案。
騰訊人工智慧實驗室聯合國內外多家學術機構發表的一篇綜述也表達了同樣的觀點,認為多智慧型體互動、指令設計、人機迴圈、模型內部狀態分析等技術也可以緩解AI錯覺。
值得一提的是,哈爾濱工業大學(深圳)自主研發的荔枝文字模型和九天多模態大模型,對上述緩解AI幻覺的方法進行了深入探索,並取得了顯著成效。
這對於開發可信的人工智慧模型是必要的。 張敏介紹,“我們試圖通過視覺資訊來增強語言模型的能力,減少語言模型的外部錯覺問題。通過對多個大模型智慧型體的獨立思考和分析,通過多個智慧型體之間的討論、博弈和合作,增強了回覆的客觀性,減少了AI錯覺。 ”
張敏表示,破解AI幻覺將提高AI系統的實用性、可信度和適用性,將對AI技術的未來發展和社會的發展產生積極影響。 同時,更可靠的人工智慧系統可以更廣泛地應用於各個領域,這將推動技術進步的速度,帶來更多的創新。 未來,要揭穿人工智慧的幻覺,需要在演算法、資料、透明度和監管等方面採取進一步的措施,以確保人工智慧系統的決策更加準確可靠。
*:科技**。