（精選報告**：幻影影視行業）。
sora：劃時代的文盛**大模型
文字生成**：Sora 能夠根據使用者提供的文字描述生成長達 60 秒的 **。
加深語言理解：GPT 技術用於將簡短的使用者提示轉換為較長的詳細翻譯並將它們傳送到模型。
**生成能力：Sora 可以根據使用者的需求生成解像度高達 2048 2048 的可變大小影象。
新增功能模擬能力：SORA具有3D一致性、長期相干性和物件連續性，可以與世界互動，模擬數字世界。
多式聯運下游應用如火如荼
模 態+**創作：提公升創作者效率
Lumière：Lumière 的核心功能之一是它能夠支援文字到文字和影象到轉換功能。 這是通過時空 U-Net （Stunet） 架構實現的，該架構的設計重點是提高 AI 生成的運動的真實感**。 Lumière 能夠在單次通過中生成完整的序列，而不是簡單地組合靜態幀。 該技術可以同時處理使用者的空間（即物體中的物體）和時間（即物體中的運動）方面，為使用者帶來更加自然流暢的運動感知體驗。
嗶哩嗶哩：在生成式人工智慧領域，無論是寫文章、寫作**，還是開放式問答，大型語言模型都展現出了巨大的潛力。 基於大語言模型較強的理解能力，通過將**字幕加工成格式化文字，輸入到模型中，使其能夠結合上下文，選擇最精彩的部分。 通過提示工程，大型語言模型在選擇高能量點方面也具有很高的準確性。 嗶哩嗶哩也在積極探索相關技術在其他業務形態上的應用場景，如：章節拆分、直播大綱，提公升創作者效率。
模 態+ 自動駕駛：徹底改變人車互動
LIMSIM++：用於在自動駕駛中部署多模態LLMS的閉環平台。 LIMSIM++ 提供了乙個閉環系統，包括道路拓撲、動態交通流、導航、交通控制和其他基本資訊。 提示是 （M）LLM 支援的相術系統的基礎，該系統包含通過影象或文字描述呈現的實時場景資訊。 LLM智慧型系統具有資訊處理、工具使用、政策制定和自我評估等功能。
V2VFormer++：第乙個多模態 V2V 框架。 對於每輛車，採用具有模態特定骨幹的雙流網路在BEV平面上進行攝像頭-雷射雷達特徵提取（使用稀疏交叉注意力SCA模組進行攝像頭-檢視變換），並設計動態通道融合（DCF）以實現細粒度畫素聚合。 給定乙個多模態BEV地圖，執行資料壓縮和共享，以在自車輛坐標處生成一組特徵圖FC**。 隨後，提出了一種全域性-區域性 Transformer 協同策略，用於相鄰 C**s 之間的通道語義探索和空間關聯建模。 最後，將多車融合圖fjoint輸入到**標題中，用於目標分類和定位回歸。
模 態+ 自動駕駛：徹底改變人車互動
商湯科技提出了DriveMLM模型，該模型與現有自動駕駛系統行為規劃模組中的決策狀態保持一致，使車輛能夠在閉環測試中執行，超越了之前的端到端和基於規則的自動駕駛系統方法。
首先，在成熟的模組化方案中，將LLM的語言決策輸出與監管部分的決策狀態對齊，使LLM的語言訊號輸出轉換為車輛控制訊號;
其次，DriveMLM的MLLM Planner模組由兩部分組成：多模態分詞器和MLLM解碼器。
前者負責將攝像頭、雷射雷達、使用者語言需求、流量規則等各種輸入轉換為統一的令牌嵌入; 後者，即MLLM解碼器，是基於這裡生成的令牌，然後生成**描述、驅動決策和決策解釋等。
在CARLA中廣泛使用的TOWN05Long基準測試中，其駕駛分數和路線完成度明顯高於Apollo等非大型模型方法。
模 態+廣告（電商）：打造多種營銷賣點
利用AI技術進一步增強數字人類的多樣性，比如換臉、背景換人、重音換聲來適應我們的提示，最後是劇本、數字人唇替換、背景換人、換臉、**壓制後，就可以得到口播**。 客戶可以利用數字人來介紹一些與產品相對應的營銷賣點。 這樣一來，就可以在3分鐘內做好乙個數字人的工作，大大提高了廣告主做數字人的能力。
大型模型還可以幫助企業生成營銷海報並替換產品背景。 在接受大資料培訓後，客戶還想要一些特別個性化的東西，未來需要新增一些微調方法。
模 態+ 教育：提高教學效率，加強人機互動
教學資源是自動生成的：在教學資源的自動生成方面，目前通用領域的多模態大模型已經展現出一定的能力。 穩定擴散等影象生成模型可以根據教學需求輸入學科的文字描述及其細節，快速自動生成多種風格、高畫質寫實、唯美的美學教學資源，生成的教學資源不僅具有顯著的跨模態性，而且具有新穎性和獨特性。
人機協作流程支援：目前，多模態大模型在一般領域也顯示出良好的潛力。 在知識問答方面，所提出的ERNIE大模型可以增強對領域實體和專業術語的認知，並利用問答匹配任務進行模型訓練，從而深入了解領域知識及其內部聯絡。
教師教學智慧型輔助：在利用大模型對教師進行智慧型助教方面，目前業界和學術界也開始積極探索。 基於教師線上教學語音轉錄產生的約2000萬條教育文字資料，美好未來構建了一流教學模式。
模 態+ 醫療：為臨床醫療任務提供更智慧型、更高效的解決方案
RADFM 具有巨大的臨床意義：
支援 3D 資料：CT 和 MRI 廣泛用於現實世界的臨床環境，大多數疾病的診斷在很大程度上依賴於它們。 RADFM 的模型旨在處理真實世界的臨床成像資料。
多影象輸入：診斷往往需要輸入各種模態的多張影象，有時甚至需要歷史放射影象的輸入，因此支援多影象輸入RADFM可以很好地滿足此類臨床需求。
交錯資料格式：在臨床實踐中，影象分析通常需要了解患者的病史或背景。 交錯式資料格式允許使用者自由輸入額外的影象背景資訊，確保模型可以與多源資訊相結合，完成複雜的臨床決策任務。
模 態+ 安全：AI + 安全加速演進
演算法精度和效果提公升：例如，在**監控場景中，這些技術可以通過對影象和聲音的分析，實現目標行為識別和異常檢測等功能。
多模態演算法融合應用：在安防領域，多模態技術可以融合影象、語音、文字等資料，從而實現更全面、更準確的情報分析和預警。
AI演算法從邊緣智慧型向中央智慧型的傾向：安防AI演算法一開始主要由中央智慧型演算法處理，後來開始興起邊緣智慧型裝置，將演算法整合到終端中; 隨著大模型的推廣，中央智慧型的必要性將增加，AI的智慧型演算法中心將發揮新的核心作用。
演算法自適應學習：在安全領域，該技術可以通過對歷史資料的分析和學習，實現對未知事件的快速響應和處理。
智慧型決策支援：在安全領域，該技術可以通過事件的分類和改進，實現智慧型決策支援和應急響應。
個性化服務：在安全領域，該技術可以為不同的客戶提供具體的安全理念和風險評估。
總結：
多模態+**創作：提高創作者效率。 除了 Sora 和 Runway 之外，Lumière 能夠在單個過程中生成完整的序列，而不是簡單地組合靜態幀。 該技術可以同時處理使用者的空間（即物體中的物體）和時間（即物體中的運動）方面，為使用者帶來更加自然流暢的運動感知體驗。
多模式+自動駕駛：徹底改變人車互動。 商湯科技提出了DriveMLM模型，該模型使車輛在閉環測試中執行，超越了之前基於規則的端到端和基於規則的自動駕駛系統方法。
多式聯運+廣告（電商）：打造多元化營銷賣點。 利用AI技術進一步增強數字人類的多樣性，比如換臉、背景替換、口音語音替換來適應我們的提示，最後是劇本、數字換臉、背景替換等，**壓制後即可獲得口播**; 它還可以幫助企業實現營銷海報的生成。
多模態+教育：提高教學效率，加強人機互動。 穩定擴散等影象生成模型可以根據教學需求輸入學科的文字描述及其細節，快速自動生成多種風格、高畫質寫實、唯美的美學教學資源，生成的教學資源不僅具有顯著的跨模態性，而且具有新穎性和獨特性。
多式聯運+醫療：為臨床醫療任務提供更智慧型、更高效的解決方案。 臨床醫療服務產生的大量資料以不同模態儲存在資料庫中，經過分類和清洗，然後進行預處理，實現多模態融合。 多模態融合可以將不同的資訊有機地整合在一起，比單一模態資訊更全面。
多模式+安全：AI+安全加速演進。 據全球政府和企業解決方案顯示，目前我國人工智慧技術在“AI+安全”領域的三個應用方向分別是生物識別技術、一流的結構化和物體識別系統。 其中，生物特徵識別技術應用最早，涉及應用範圍廣泛，是人像識別中最先進的技術。
本文僅供參考，不代表我們的任何投資建議。 【幻影影視世界]。整理和共享資訊僅供使用者閱讀獲得的資訊僅供個人學習，請參閱報告原件使用。