最近,Apple 發布了一項關於其最新生成式 AI 技術 Hugs(人類高斯 Splats)的引人注目的研究**。 該技術可以在短短30分鐘內從短短的**生成乙個數字複製人,開創了數字轉殖技術的新時代。
HUGS技術背後的故事
HUGs,即人類高斯飛濺,靈感來自3D高斯飛濺和SMPL身體模型技術。 該技術的首席研究人員之一 Anurag Ranjan 在 X 平台上分享了一段視訊,展示了 Hugs 技術的驚人效果。 畫面中,三個數字分身在草坪上翩翩起舞,彷彿擁有了真正的生命力。
技術原理和突破
HUGS 基於 3D 高斯散射和 SMPL 人體模型技術,通過在短時間內分析 50-100 幀影象(相當於 24 fps 時 2 到 4 秒**)快速建立數字人類孿生。 與過去的神經渲染技術相比,Hugs在動態場景中取得了顯著的進步,允許人類數字孿生在**中自由移動。
然而,目前的挑戰是,該技術還不能捕捉到每乙個細節,對於無法捕捉和建模的細節,擁抱會自動填充它們,這是未來技術發展的方向之一。
速度的背後是精湛的訓練
據了解,經過充分的訓練,Hugs已經能夠在短短30分鐘內完成數字人類分身的生成,這比之前的技術,如Neuman和Vid2**Atar快了100倍左右。 這意味著蘋果在數字孿生領域取得了重大突破,為未來的應用開闢了更廣闊的可能性。
Apple 在數字孿生領域的持續創新
這不是蘋果第一次涉足數字孿生技術。 在其最新的MR頭顯Vision Pro中,前置攝像頭掃瞄使用者的臉部,並使用機器習技術和編碼的神經網路來生成數字頭像。 該技術使數字孿生能夠模仿使用者在 FaceTime 通話期間的面部和手部動作,為使用者提供更逼真的通訊體驗。
數字孿生技術的未來
隨著HUGS技術的問世,數字孿生技術有望在更廣泛的領域得到應用,不僅限於靜態場景,還涉及動態場景,為虛擬實境、增強現實等領域提供更逼真的人機互動體驗。
然而,該技術仍然面臨一些挑戰,尤其是在細節捕捉方面。 隨著研究的深入,相信這些問題將得到解決,數字孿生技術將不斷演進,為我們創造更豐富、更逼真的虛擬體驗。