2月初,Apple Vision Pro頭顯終於上市銷售。 產品一經推出,就吸引了來自四湖四海的科技愛好者的目光,大家紛紛慷慨捐資,體驗代表著空間計算技術的硬體裝置。 這種渲染終於進入了人們的生活,成為現實。
iFixit 推出很快,提供了全球首款 VisionPro 拆解**,從鏡頭到顯示屏,從攝像頭陣列到風扇、電機,3500 美元的東西沒有放過乙個可以拆卸的地方,甚至還做了 X 射線、CT 掃瞄和顯微鏡拍攝。
蘋果頭顯熱銷,競爭對手Meta的股價居然在一天內上漲了20%,創下了美股的歷史紀錄。 當然,主要原因是因為Meta第四季度的財務表現,而Quest VR頭顯也確實為Meta的業務做出了貢獻。
人們開始關注Vision Pro背後的技術空間計算
根據美國引數技術(PTC)的定義,空間計算它是涉及機器、人、物體及其發生的環境的活動的數位化,以實現和優化操作和互動。
這項技術有可能以數位化方式改變工業公司優化工廠、工作場所和倉庫中一線工人運營的方式,並為企業行動和互動提供數位化增強的維度環境。
同時,王邦還丟擲了文生**的模型OpenAI,Sora,讓全圈大喊“現實已經不存在了”,甚至說有投資**“所有的VC會議都在談論SORA”。
因為人們發現,SORA模型基於大規模生成,與空間計算有著天然的關係,兩者的結合可能在未來開闢一種更深入的模擬和理解世界物理世界的新方法
那麼,空間計算這一先進技術的商業模式將如何運作,AIoT的各個領域將產生怎樣的火花,與空間計算相關的產業鏈和技術又會是什麼,本文將一一介紹。
為什麼“VC都在看SORA”? 為什麼連紅衣大炮周弘毅都對此感到震驚,甚至說:索拉對物理世界的模擬,至少會對機械人具身智慧型和自動駕駛產生巨大影響。
如果之前給予過ai餵食大量內容,AIGC的突然啟蒙(湧現)是讀了萬本書的結果,所以SORA帶給人們的期待是,AI與現實的深度結合,會帶來“行千里”和“有經驗”的真實體驗。。而這也將給相關行業帶來加速。
據研究機構市場稱根據美國資料,全球空間計算市場規模預計將從2023年開始增長1,246億美元到2032年的增長6202億美元, **復合年增長率為 182%。
來源: maketus
接下來,我們以蘋果和Meta為例,分析各自基於頭顯和空間計算的商業模式。
蘋果
對於蘋果來說,Vision Pro只是乙個產品的介面,他們真正想做的是讓使用者覺得“我需要這個東西”,就像Joe之前的理念一樣——使用者不知道自己想要什麼,我會給你最好的。
一方面,蘋果希望通過其自研晶元和系統的效能優勢,為使用者提供“想要”的種子,一經發售,將吸引全球爭奪,據統計,Vision Pro已經售出20萬台,收入近7億美元,更不用說正式銷售後的數字了, 雖然後來有報道稱,有使用者表示,如果穿著不舒服會回來,這不足以帶來巨大的銷量。
另一方面,蘋果沒有採取社交模式,而是以硬體+商店的方式進行空間計算產品的布局。
meta
Meta的想法是典型的網際網絡商業模式。 通過低成本+社交屬性吸引大量使用者,進而提高使用者粘性。 同時提出企業版訂閱模式,相容多種企業應用,可選擇個人模式和共享模式。
在 Meta Connect 2023 上,Meta 開發者關係主管 Melissa Brown 在台上宣布,Quest Store 的遊戲和應用程式已產生超過 20 億美元的收入。
當然,如果涉及到錢,Meta也樂於借鑑蘋果的模式。 Meta 自己的元宇宙平台 Horizon Worlds 提議測試一系列新工具,這些工具將允許一些創作者在平台上通過數字資產獲利。 網路和移動使用者收取 25% 的佣金,使用 OculusVR 頭戴裝置的使用者最高收取 47% 的佣金5% 佣金,包括 Meta Quest 商店的 30% 硬體平台費用和 17 美元5%。此前譴責蘋果稅的Meta,嘴裡只有滿嘴的“真香”。
然而,空間計算技術也面臨著一些新技術常見的挑戰私隱問題。雲計算、區塊鏈、人工智慧、機器學習和 XR 支援的空間計算、私隱是擴充套件現實市場的重大挑戰,因為 VR 和 AR 等 XR 技術從使用者那裡收集了大量個人資料。 這些資料包括敏感資訊,例如使用者移動、生物識別資料,甚至個人偏好。 XR Marketplace成為目標的原因之一是可以在使用者不知情或未經同意的情況下收集使用者資料。
空間計算作為智慧型產業的代表,融合了領先的軟硬體技術,涵蓋通訊、感知、測繪、計算等,可以說是自動駕駛行業之外,又乙個融合先進技術的領域。 接下來,我們將介紹空間計算在AIoT等領域的兩大應用。
到 2030 年,依靠精確定位和地圖的 3D 建模的空間計算應用將無處不在,以改善操作並最大限度地提高人、機器、物體和工作環境之間的互動。
在過去十年中,製造商通過IIoT計畫達到了新的效率水平。 這些技術已經在建立和利用大量資料,同時降低成本,提高質量和效率。 缺乏重要的空間資訊可能是阻礙IIoT發展的問題。
從本質上講,傳統的 llots 對周圍環境視而不見。 在選擇安裝哪些感測器和連線哪些機器時,物聯網採用者定義了他們自己的數字感知的邊界。 這些界限可能導致操作的數字表示與其在三維環境中的物理執行之間存在巨大的知識差距。
通過採用空間計算等新技術,我們可以彌補這些問題,真正實現數位化和智慧型化。
具體來說,空間計算使整個生產線能夠從頭到尾進行數字監控。 它不僅可以實時獲取各種生產資料,還可以交叉比較資料,識別瓶頸,為管理者提供決策參考。 同時,還可以通過影象對每個工人的工作動作進行識別和評估,檢查動作是否合理高效,並給予個性化指導,幫助優化工作流程,提高安全績效。 將人員行為資訊融入到整個生產過程中,更有利於技能的培訓和技能提公升。
此外,空間計算還支援個性化的人機協作。 它可以根據人員的位置動態調整機器的執行引數,使協作工作更加高效。 更重要的是,它還可以不斷優化整個生產環境的布局,以提高工作效率。
隨著空間計算技術的逐漸成熟。 其提供的數位化、智慧型化解決方案將對傳統製造業產生深遠影響,推動智慧型製造的創新和產業公升級。 通過整合人機環境資料,空間計算可能成為實現智慧型製造的有力技術手段。
數字孿生是利用資訊科技對物理實體進行數位化定義和建模的過程,其核心概念在於通過“數字孿生”對物理實體進行優化。數字孿生有時被稱為“工業孿生”。元宇宙。因此,空間計算技術與數字孿生技術有著天然的聯絡,他們甚至像兄弟一樣,你有我,我有你。
在數字孿生的應用中,智慧城市這是最典型和最容易獲利的場景之一。 通過先進的空間計算技術,可以為智慧城市帶來更多精細化
中國工程院院士、國際歐亞科學院院士、自然資源部國家基礎地理資訊中心教授**在“數字孿生賦能空間治理”年度學術研討會上提到,數字治理現已被賦予新內容,包括:時空資訊應用,數位化發展統籌規劃,智慧型化應用水平提公升。 在工業區、自然保護區等領域,數字孿生技術已逐步滲透。 城市交通、水務、文體活動等各個領域都是數字孿生和空間計算發揮作用的地方。
無論是空間計算還是數字孿生,都是智慧城市建設中可以提質降本增效的重要技術。
此外,“數字孿生城市***”為數字孿生城市的發展提出了“預防性打擊”:1防止建設方盲目追求“大而快”的新技術; 2.控制與資料集中聚合和處理資料來源相關的安全風險; 3.打造具有地方特色、適應當地環境的技術賦能; 4.建立健全資料融合、技術融合相關標準; 5.提高軟硬體自主性和可控性水平; 6.加強人才庫。
空間計算作為元宇宙和數字孿生的重要技術,主要具有以下重要技術要素:
三維重建技術是指利用二維投影或影象來還原物體的三維資訊(形狀等)的數學過程和計算機技術。
該技術包含:積極主動的方法跟被動方法兩類。 主動方法被賦予深度圖,通過數值近似重建3D輪廓,並基於模型構建場景中的物件,例如移動光源、彩色可見光、微波的飛行時間雷射或3D超聲波。 這些方法使用測距儀以機械或輻射測量方式主動干擾重建的物體,以獲得足夠的資訊。 另一方面,被動方法不會干擾重建的物體,而只是使用感測器來測量物體表面反射或發射的輻射的亮度,並通過影象理解推斷其3D結構,通常只需要相機等光學裝置。
空間感知是指獲取人和物體在空間中的狀態的能力,包括位置、方向、速度等,並能建立周圍環境的幾何和語義模型,是AR導航、AR多人協作和各種空間應用的基礎。 通常,空間感知是通過一系列感測器之間的資料校準來確認的。
該技術廣泛應用於自動駕駛,如攝像頭、公釐波雷達、雷射雷達等,此外,空間感知還包括GPS、光通訊、藍芽等不同的技術路線。
在空間計算中,使用者感知分為兩個重要組成部分。 第一種是對使用者表達的資訊的處理,即裝置或系統對使用者形象、狀態、行為表達等資訊的捕獲、分析和理解,第二種是在此基礎上的認知引導和互動驅動。
使用者感知通常側重於對人臉、姿勢和手勢的感知,通過各種資訊採集裝置了解使用者行為,並幫助使用者進行相應的互動。
空間資料是指用於表示空間實體的位置、形狀、大小和分布特徵的資料,用於描述真實世界的目標。 空間資料管理技術主要包括四個方面:資料儲存管理技術、高效資料檢索技術、資料視覺化支撐技術和資料安全技術。 空間資料管理技術是實現資料資產集中化和高效空間計算的重要保障,海量多模型空間資料的統一管理成為熱點方向。
隨著5G等低時延、高頻寬通訊模式的發展,越來越多的計算基礎設施被提供通訊保障。 基於雲的空間計算技術、算力排程、算力分時復用、端邊非同步渲染技術,為空間計算的雲網資源呼叫提供穩定、彈性、安全的底層支撐。 此外,5G-A的發展為上行超寬頻、寬頻實時互動、通訊感知融合等場景的空間計算帶來了更加有力的支援。
對於空間計算產品,產業鏈涉及各大硬體廠商、服務商等,從硬體來看,主要分為晶元、顯示器、光學器件、結構件、電池,總成本為1509美元,服務主要來自生產和組裝。 其**商家列表如圖所示,下面具體介紹一下產業鏈中比較重要的環節:
資料來源:天豐**。
vision pro
蘋果的 Vision Pro 配備了 M2+R1 晶元。
據了解,M2晶元為倒裝晶元封裝,台積電加工晶圓,Amkor的美國封裝工廠完成封裝測試; R1 晶元是乙個專用的協處理器,用於處理從各種感測器獲得的資料。 處理此感測器資料對於 Apple Vision Pro 渲染和向使用者提供混合現實環境至關重要。 R1晶元的具體技術規格尚未向公眾公布。 現有資料顯示,該硬體基本上是使用台積電現有的5nm工藝技術製造的。
其他裝置
Meta Quest 系列、Pico 4 Pro 和 HTC XR Elite 都使用高通驍龍的 XR 裝置專用晶元。
今年1月,高通推出了用於MR和VR頭顯的第二代驍龍XR2+平台。 據報道,該晶元最高支援90fps單眼43K顯示解像度; 它支援超過 12 個並行攝像頭,延遲為 12 毫秒。 包括三星和谷歌在內的製造商都參與了晶元的XR優化。
頭顯的顯示技術有很多選擇,而Vision Pro(包括iWatch)選擇的Micro-OLED正以其獨特的優勢占領XR領域。 Micro OLED之所以在OLED前面有乙個MINI,是因為它可以在保持相似解像度水平的基礎上顯示面積更小的OLED,這使得它具有更高的畫素密度(PPI),並具有使顯示器更薄更短、功耗更低、自發光、發光效率高等優點, 特別適用於AR、VR等顯示可穿戴裝置。
此外,FAST-LCD、MINI-LED、AMOLED、MICRO-LED等也佔據了相應的份額。 **來自JDI、夏普、京東方、LG、三星、天馬、索尼、JBD.....的商家等
資料來源:安信**。
主流耳機型號均採用煎餅解決方案。 因其良好的成像質量和變薄效果而受到廣泛關注和商業化應用,但煎餅模組生產難度大,工藝要求高,光學膜在成像中的重要性高,因此生產技術難點集中在薄膜材料、薄膜工藝和裝配精度上。
此外,還有一些比較前沿的光學技術,包括多堆疊折返自由曲面、異質微透鏡陣列、液晶偏振全息術、超表面超透鏡等。 然而,這些技術距離商業化還很遙遠,這些前沿技術為VR裝置的演進和公升級提供了更多的可能性。
雖然我們批評蘋果在包裝盒上標註了“某某組裝”,但立迅精密還是拿下了Vision Pro的組裝訂單。 在盒子上,它現在顯示的是中國製造,這意味著它的組裝和生產是在中國進行的。
對於可穿戴裝置來說,輕量級、適應性強的作業系統可以使裝置體驗更加流暢,因此企業會針對裝置進行適配和優化
Apple 視覺專業版
VisionOS 主要基於 iOS 的核心架構開發,並新增了用於注視點渲染和實時互動的擴充套件現實相關框架。 它具有 3D 使用者介面,由使用者通過手指跟蹤、眼動追蹤和語音識別進行控制:例如,使用者可以點選拇指和食指的指尖進行選擇,或輕彈手指滾動螢幕,或凝視搜尋框並直接說話以輸入文字。
meta quest3
Quest3 由基於 Android 的 Meta Quest 平台提供支援。 用於為 Meta Platforms 發布的 Meta Quest 系列裝置開發應用軟體。 該平台最初是為 Oculus Rift 和 Oculus Rift S 上的嵌入式作業系統開發的,自 2018 年 Oculus Go 發布以來,該平台在 Android 作業系統上執行。 當前版本是 V62,它還支援類似 Vision Pro 的空間**,只需單指捏合手勢即可開啟和隱藏通用選單,或長按手勢可使顯示屏居中。
pico
筆克的作業系統Pico OS也是基於Android的,Pico方面已經針對UI和整個系統進行了優化,以提供乾淨流暢的體驗。 不知道是不是受到了位元組人員變動的影響,但最新版本的PICO系列裝置系統是5.,於2023年8月發布8.2。
空間計算一詞來自2003年麻省理工學院實驗室的西蒙·格林沃爾德(Simon Greenwold)在他的實驗室中創造了“空間計算”word,定義為:“人機互動,其中機器保留和操縱空間中的真實物體和參考。 ”
筆者最初以為空間計算只是其中之一將來完成時態被打了一巴掌。
我在整理材料時想起了它蘭迪·博世教授的最後一課(2007)。無獨有偶,美國卡內基梅隆大學電腦科學、人機互動與設計教授蘭迪·博世(Randy Bosch)的研究方向是虛擬實境,甚至在1991年就出版了virtual reality每天五美元第一句話是:利用耳機和手套輸入的虛擬實境系統正變得越來越流行,但......成本較高
左圖為教授帶領學生使用耳機參加比賽; 右圖顯示了教授的團隊在1991年嘗試耳機。
從虛擬實境的角度來看,空間計算已經有30年的歷史了。
如果你再數,鏈結訓練機在某種程度上,可以看作是虛擬實境技術的落地,並且已經成功商業化。
林克出生於1903年,發明了飛行模擬器,他生產並發明了林克訓練機,通過“訓練機”提供俯仰、滾轉、偏航等模擬飛行動作,幫助飛行員快速掌握飛行技能。 二戰前夕,美軍直接向他訂購了六架林克訓練機進行飛行員訓練,而訓練機的單價,非常巧合的是,是一台 VisionPro — 3,500 美元
而早期的虛擬實境和空間計算,就是這樣夢想生物記憶的本能讓你在夢中幾乎沒有現實感的差異,簡直就是對現實世界的完美模擬,甚至晶元都是自適應的BPU(Brain Processing Unit)計算能力。 所謂“莊勝霄夢扇蝶”,把自己想象成乙隻昆蟲,或許是更高階的場景體驗。
在過去的幾年裡,人工智慧 (AI)、相機感測器、計算機視覺、物聯網 (IoT) 和增強現實 (AR) 等技術取得了巨大進步,使空間計算成為可能。 有了這些改進,空間計算不僅成為可能,而且還為改進我們的工作方式、分析資料的方式和優化流程的方式提供了重要的機會。 《黑客帝國》(1999)的科幻小說也許有一天會成為現實,馬斯克應該已經在努力了。
雖然元宇宙的泡沫已經消退,但Vision Pro,包括Meta的Quest3、Byte的PICO等產品,仍然為大家接觸空間計算提供了不同的選擇。 未來,還將有超越基於不同型別硬體的頭戴式耳機的技術體驗。 空間計算將在通訊與共存、製造、遊戲、人力資源、體育娛樂、資料視覺化等領域快速發展,也將在醫療、教育和培訓等領域產生重要影響。
空間計算作為元宇宙的重要技術,甚至是未來產業的重要技術,展現出了巨大的潛力。 無論是賦能工業物聯網、智慧城市、教育、醫療等,空間計算已經開始融入生活的方方面面,其產品形態很快就會像手機、PC一樣,既可以作為生產力工具,又可以作為娛樂生活的好東西。
引用: spatial computing,ptc
5G 空間計算*** 中國電信.
數字孿生城市 *** 資訊與通訊技術研究所。
空間計算產業深度:深度梳理相關裝置、關鍵要素、產業鏈及相關企業。
virtual reality on five dollars a daymr:vision pro
在發布前夕,空間計算開啟iPhone的那一刻? 藍海市場開啟,裝置投資第一,風力最強。
what leaders need to know about spatial computing,hbr.orgspatial computing market,market.us