OPPO、RESS和高通近日宣布,雙方將合作推動創新的混合視覺感測(HVS)技術在智慧型手機領域的應用。 HVS感測器用於更高效地提取運動資訊和影象資料,有助於進一步提高相機效能,實現影象的AI運動功能。
三方將共同開發乙個完整的解決方案,包括從混合視覺感測器捕獲原始視覺資訊,將其傳輸到驍龍移動平台,並使用專有演算法。 此次合作將有助於實現創新的智慧型手機影象功能,如照片去模糊、超解像度和超慢動作重建,這些功能需要基於影象和運動資訊相結合的演算法,具有開創性的意義。
高通公司產品管理副總裁Judd Heape表示:“與傳統的影象感測技術相比,EVS技術在捕捉運動資訊方面具有更大的優勢。 HVS解決方案結合了影象和事件感測技術的優點。 在平台硬體和演算法的支援下,智慧型手機的成像能力得到了顯著提公升。 我們很高興與OPPO和RESS合作,為這項技術的商業化做出貢獻。 我們也相信這項技術將更廣泛地應用於各個領域。
OPPO Imaging產品總監張軒表示:“多年來,我們對前沿感測器技術進行了廣泛的研究,特別是在HVS(Fusion Visual Sensing)技術領域。 我們與RESS和高通有深度合作,並參與了晶元和演算法的多次迭代開發。 我們對這項技術的潛力充滿信心,並將在未來繼續投資,並期待與我們的合作夥伴一起將這項技術應用於OPPO的超光影影象引擎。 ”
運動資訊在攝影和機器視覺中至關重要。 傳統的影象感測器將一段時間(即時間)內的運動資訊重疊到單個影象幀中,但這很容易導致運動模糊和有效運動資料的丟失。
利用視覺感測器有效獲取高精度運動資訊是當今各個領域的首要需求之一。 基於傳統的影象感測器,業界通常通過提高幀率來獲取高精度的運動資訊,但同時又要付出巨大的冗餘資料的代價,伴隨著資源消耗、系統成本增加、系統處理效率降低。 此外,高幀率意味著較短的**時間,這極大地損害了相機對環境光的適應能力。
因此,對於許多應用來說,通過提高幀速率來獲得更有效、更高精度的運動資訊是具有成本效益且不切實際的。 需要一種更具成本效益的技術路徑來實現運動資訊的高效捕獲。
基於事件的視覺感測器(EVS)是一種成像技術,無需快門即可連續記錄不斷變化的運動資訊機制。 通過其獨特的畫素內處理機制,在記錄運動資訊時,能夠在高幀率、高動態範圍和低資料冗餘之間實現平衡。
由於EVS對靜態資訊不敏感,不擅長捕捉許多機器視覺應用所需的關鍵靜態影象資訊,通常需要與傳統的影象感測器(RGB)一起使用,但這兩種技術的融合並不容易,並且面臨著兩類視覺資訊(EVS和RGB)的時空配準挑戰, 同時,成本和系統複雜度的增加,也在一定程度上抑制了EVS發揮其原有的技術優勢。
ResChip 於 2019 年推出的融合視覺感測 (HVS) 技術將 EVS 和傳統影象功能結合在同一感測器晶元上。 Krism 的 ALPIX 系列感測器可同時輸出高質量的 RGB 影象和 EVS 資料流,為捕獲具有運動資訊的影象提供了一種經濟高效且演算法友好的解決方案。
RESIS創始人兼CEO鄧健表示:“在目前的視覺感測器領域,人們不僅對2D RGB資訊有更高的期望; 此外,感測器還迫切需要提供額外的資料,如距離、光譜和運動資訊。 我們與 OPPO 和 Qualcomm 合作,推動 Alpix-Eiger 與移動應用程式的無縫整合。 作為增強型RGB影象感測器,其影象質量可與市場上領先的影象感測器相媲美,同時引入EVS來捕捉運動資訊。 我們非常興奮和自豪能夠看到並參與這項技術從概念到產品的整個過程。 ”
真正改變世界的不是技術本身,而是技術衍生產品應用給社會帶來的價值。 我們希望將融合視覺感測技術(HVS)帶給每個使用者。 這是我們的初衷,我們期待這次合作取得豐碩成果“,鄧健補充說。