生成式 AI 服務可用於生成通用文字片段、令人難以置信的影象，甚至是各種程式語言的指令碼。 然而，當 LLM 被用來生成有問題或無意義的報告時，結果可能在很大程度上不利於專案的開發。
丹尼爾·斯滕伯格（Daniel Stenberg）是Curl軟體的原作者和首席開發人員，他最近寫了一篇關於LLM和AI模型對專案的影響的文章。 這位瑞典程式設計師指出，該團隊有乙個漏洞賞金計畫，獎勵那些用真錢發現安全問題的黑客**，但通過人工智慧服務建立的膚淺報告正在成為乙個真正的問題。
Sternberg說，到目前為止，Curl的漏洞賞金計畫已經支付了70,000美元的賞金。 程式設計師共收到 415 份漏洞報告，其中 77 份是"資訊"報告中，有 64 個最終被確定為安全問題。 報告的問題中有很大一部分 （66%） 既不是安全問題，也不是普通漏洞。
生成式 AI 模型越來越多地被用作（或建議使用）作為自動化複雜程式設計任務的一種方式，但 LLM 以"幻覺"以及提供無意義結果的非凡能力，同時聽起來對其輸出絕對有信心。 用 Sternberg 自己的話來說，基於 AI 的報告看起來更好，似乎很有意義，但是"更好的垃圾"還是垃圾。
斯滕伯格說，程式設計師必須花更多的時間和精力在這樣的報告上，然後才能關閉它們。 人工智慧生成的垃圾對專案根本沒有幫助，因為它占用了開發人員的時間和精力，使他們無法進行富有成效的工作。 curl 團隊需要正確調查每份報告，而 AI 模型可以成倍地減少編寫可能根本不存在的錯誤報告所需的時間。
斯滕伯格引用了兩份可能由人工智慧建立的虛假報告。 第乙份報告聲稱描述了乙個真正的安全漏洞 （CVE-2023-38545），該漏洞甚至尚未披露，但充滿了漏洞"典型的人工智慧幻覺"。斯滕伯格說，來自舊安全問題的事實和細節混合在一起，與現實相匹配"不相關的"新的東西。
最近提交的另乙份關於 hackerone 的報告描述了 websocket 處理中潛在的緩衝區溢位漏洞。 斯滕伯格試圖就這份報告提出一些問題，但他最終得出結論，這個漏洞不是真實的，他很可能是在與人工智慧模型而不是真人交談。
人工智慧可以做到這一點，程式設計師說"很多好東西"，但它也可能被利用來做錯事。 從理論上講，LLM 模型可以被訓練以高效的方式報告安全問題，但我們仍然需要找到這一點"好例子"。Sternberg說，隨著時間的推移，人工智慧生成的報告將變得更加普遍，因此團隊必須學習如何更好地觸發"生成的人工智慧"訊號，並迅速駁回這些虛假報告。