陳培雯近日，芝加哥大學研究團隊的AI資料中毒工具Nightshade正式發布，據說**數量在上線短短5天就突破了25萬，熱度遠超研究團隊的預期。
幾個月前，當團隊宣布將發布 Nightshade 時，我正在研究它，因為它與通常為 AI 生成的內容新增水印或徽標的想法不同。
Nightshade 允許藝術家上傳自己的原始圖紙，然後在被機器學習演算法識別為錯誤資訊的畫作中嵌入有毒資料，例如有四條腿的汽車。 因此，如果一家AI公司未經藝術家許可，使用數十張這樣的影象來訓練AI影象生成系統，就相當於中毒了，系統輸出的準確性將急劇下降。
可以看出，由於藝術家對隨意使用藝術品進行AI訓練的強烈不滿，隨著Nightshade的出現，藝術家拿起了AI資料中毒工具，開始化攻為強。
因此，人工智慧的發展肯定會有一些新的變化。
AI開發者肯定會增加資料清洗和安全驗證的工作量，AI模型開發的成本和複雜度將進一步增加。 在AI應用執行過程中，將不斷引入資料驗證的技術環節，對中毒資料進行識別和過濾，確保AI模型執行的可靠性。
這可能會推動人工智慧行業向更尊重版權、更透明地獲取訓練資料的方向轉變。 同時，也可能有發展倡議和行動指南，要求人工智慧技術的健康發展不對個人的基本權益產生潛在影響。
AI資料中毒工具Nightshade的出現是乙個重要事件。 它不僅反映了人工智慧發展與版權保護之間的緊張關係，也標誌著人工智慧帶來的第二類風險即將到來。
從行業觀察的角度來看，我認為AI發展帶來的風險可以分為三大類。 第一類是人工智慧被用於各種惡意目的，如假冒、虛假廣告、欺詐、網路攻擊等; 第二類是在攻防各種對抗中演變的AI利用風險; 第三類是人工智慧發展過快並超出人類預期的風險。
其中，第一類是已知風險，在人工智慧出現之前就已經存在，但人工智慧的應用增加了此類風險的危害性。 今天正在推廣的各種AI風險防範要求也關注這一點。
類別 2 和 3 是未知風險。 即使經過仔細的研究和推斷，也很難了解這些風險的全貌。 例如，在 Nightshade 出現之前，業界一直在遵循 AI 生成內容水印的發展思路，但這種中毒對抗工具的出現可能會成為內容保護的主要工具。 在以往的風險分析中，這種對抗帶來的風險並不容易被考慮在內。
除了 Nightshade，Anthropic 最近也發表了關於 AI 模型訓練過程中嵌入式後門的研究成果，預計我們也會看到越來越多的 AI 對抗攻防風險浮出水面。
最後，對於AI發展過快、超出人類預期的風險，走在AI前沿的Hinton、Sutskever等研究者已經討論過了，其內涵已經上公升到了價值觀和發展理念的層面，一兩篇文章談不上。 不過，我仍然保持上一篇文章的基本判斷，人工智慧的發展會越來越快，它帶來的變化、機遇、風險和挑戰將比現在預期的要大。