江旭峰（高階財務人員）。
近日，美國人工智慧研究公司OpenAI的大型文字生成模型SORA備受關注。 但在人們相信人工智慧技術取得新進展的同時，也出現了擔憂：如果犯罪分子利用SORA造假散布謠言，普通人如何識別他們？
現在的索拉並不完美，有些**因為邏輯錯誤很容易辨認——紅酒杯掉在桌子上，杯子沒有碎，酒已經灑在桌子上;考古學家挖掘了一把椅子，這把椅子開始......靠自己但從OpenAI發布的多樣來看，“混真假”的案例更多，包括最受關注的時尚女郎走在東京街頭，無論是背景中的城市，還是女主角臉上的雀斑、墨鏡中的倒影等細節，幾乎無可挑剔， 而且完全無法用肉眼分辨出它是被人工智慧拍攝的還是生成的。
於是，有人提出了乙個假設：如果用人工智慧技術去看索拉的**，能識別出來嗎？
乙個例子是 Gemini 1.，這是谷歌發布的乙個大型 AI 模型5** 並分析 SORA 生成的**。 在完成以“櫻花雪景”為主題的一段後，Gemini判斷這一段是錯誤的，原因如下：櫻花一般在春天開花，不下雪的時候;雪落得太均勻了;雖然是下雪天，但**中的人物穿得很單薄。
Gemini 的理由可能並非都站得住腳，但它提供了另一種思維方式：面對 AI 欺詐，技術防偽變得越來越重要。
“有**，有真理”已成為歷史
SORA的發布意味著“假新聞”和“假新聞”在不斷迭代。 所以，對於那些習慣了從短**平台獲取資訊的網友來說，他們真的不能隨意相信那些**。
目前，很多人都在關注SORA在電影等娛樂內容製作中的應用，但實際上，它也會改變新聞製作的方式和流程。 當下，科技炮製的“假新聞”層出不窮，改變了許多習慣性觀念：**時代，人們以為“有圖有實”，原來圖片可以p;在那個時代，很多人覺得“有”是有道理的，但是在移植等欺詐手段上，現在有了sora，它是由人工智慧直接生成的，甚至不需要原始材料。
據此，中央民族大學新聞與傳播學院教授郭全忠認為，SORA的出現，導致生產門檻大幅降低，對新聞倫理產生巨大影響。
合合資訊影象演算法研發總監郭鳳軍也指出，隨著人工智慧技術的發展，deepfake帶來的治理危機將更加明顯。 所謂“深度偽造”，是指基於深度學習等機器學習方法，對視聽內容進行創作或合成，如語音模擬、影象、視聽內容、文字等。 因此，無論是AI換臉，還是已經出現的SORA，都算是深度偽造的典型應用。
雖然新技術和新應用可以幫助許多行業擺脫簡單或重複的工作，或者使創新理念更容易實現，但它們也會產生一定的負面影響。 例如，深度偽造更容易竊取他人身份，偽造相關資訊，實施商業誹謗、敲詐勒索、網路攻擊、犯罪等違法行為。 再比如，不法分子利用深度偽造技術散布虛假資訊，激化社會矛盾，煽動暴力行為，威脅公共安全。
可見，SORA是一把雙刃劍。 管理部門和行業要重視相關技術的監管，對於普通人來說，也要警惕：“有圖有實”“有實”已成為歷史。
“標記”有幫助嗎？
如果肉眼無法分辨真假，那麼有什麼方法可以區分呢？ 就目前對行業的探索而言，“貼標”似乎是最簡單、最直接的。
多位社交平台從業者表示，目前國內外尚無禁止在社交平台上傳播AI生成內容的法律法規。 事實上，從技術角度來看，平台可能無法確定內容是“人工智慧生成”還是“真實拍攝”。 因此，目前各平台的普遍做法是要求發行商對這類生成內容進行標註，不僅涉及大規模的模型生成內容，還涉及那些擺姿勢、編劇、剪輯的作品。
作為大型模型的開發者，谷歌和OpenAI也在致力於“標記”——通過後端設定，通過網路，為大型模型生成的所有內容新增水印，以告知使用者。
然而，“標籤”或“水印”並不能從根本上解決深度偽造的問題。
一方面，按照目前社交平台的治理，“貼標”行為有相當一部分取決於發布者。 從上海闢謠平台澄清的謠言來看，有很多作品被斷章取義、轉述、擺拍，但攝影師和出版商並沒有給它們貼上標籤。 可以看出，從治理結果來看，“貼標”並不能消滅所有欺詐行為。 雖然一些**在平台自治或網友舉報後被打標刪除，但仍有大量假**和假新聞。
另一方面，即使大型模型開發公司利用技術設定，讓大型模型生成的文字和**被迫“貼標”，告訴大眾它們來自人工智慧而非現實，但從現實傳播的角度來看，相關標籤和水印可能會在分享中被刻意抹去， 而截圖、截圖、二次編輯處理等，可以很容易地去除標籤和水印，讓公眾越來越難以識別。
這樣一來，“貼標”只是防止深度欺詐的初步或基本手段，效果可能並不理想。 或許是因為這個考慮，OpenAI在公開介紹SORA時也承認，該模型仍然存在一些安全隱患，因此暫時不會向公眾開放。
“用魔法打敗魔法”。
那麼，有沒有辦法更準確地識別深度偽造呢？
Gemini 對 SORA 生成內容真實性的判斷提供了另一種思維方式——使用人工智慧來識別人工智慧。 許多業內人士將此比作“以魔術打敗魔法”，認為通過技術手段，有機會從根本上識別深度偽造並降低相關風險。
OpenAI還表示，正在進行相關研究，包括開發可以檢測誤導性內容的文字分類器和影象分類器，“在OpenAI產品中，我們的文字分類器會檢查並拒絕違反使用政策的文字輸入，包括涉及極端暴力、性、仇恨、名人肖像、他人IP等的內容，並做出相關提示。 我們還開發了乙個強大的影象分類器，可以檢查生成的每個幀，以確保它在向使用者顯示之前符合我們的使用策略。 ”
但是，這些仍然可以看作是企業的自律行為。 來自第三方的“魔力”對整個行業同樣重要——因為內容生成公司的“規範”是基於企業本身的價值。 如果研發企業本身“作惡”，怎麼能指望“自律”行為能夠防範風險呢？
正因為如此，許多第三方公司和機構都開始了“深度偽造”技術的研發。
郭鳳軍介紹，國內外有不少企業專注於識別人工智慧篡改，其中有大量的中國企業，如中國電信等央企，RealAI、中科瑞健等高校和科研機構孵化的科技公司，以及網易、合和等多年深耕人工智慧行業的科技公司。 總體來看，國內科研團隊在深度詐騙識別方面取得的成績一直處於世界先進水平，國內多個科研團隊在國際知名的篡改檢測競賽中取得了不錯的成績。
乙個更積極的結果是，“以魔法打敗魔法”已經在中國實施。 例如，在金融領域，許多金融機構已經利用國內科技公司自主研發的人工智慧來識別虛假的人臉影象，以確定相關的人臉影象是真實的還是合成的，或者已經被人工智慧取代。 該技術主要應用於銀行和金融行業，用於檢測客戶影象和欺詐的真實性，並保護財產安全。
不過，業內人士也指出，“以魔法打敗魔法”還有很長的路要走。 隨著深度學習和計算機視覺領域技術的不斷進步，篡改檢測技術需要不斷公升級，應用場景需要拓展。 在這個過程中，需要更多的企業和社交平台參與進來，共同為“科技向善”而努力。