邊緣 AI 半導體公司 Ambarella 在 CES 上展示了一種在其新的 N1 SoC 系列上執行的多模態大型語言模型 （LLM），該模型僅使用 GPU 解決方案的一小部分功能進行推理。
Ambarella的目標是將生成式人工智慧（GenAI）引入邊緣端點裝置和本地硬體，用於廣泛的應用，包括安全分析、機械人和眾多工業應用。
Ambarella最初將在中高階SoC上提供優化的GenAI處理能力，從現有的CV72（低於5W的裝置效能）到新的N1系列（低於50W的伺服器級效能）。 與 GPU 和其他 AI 加速器相比，Ambarella 提供了完整的 SOC 解決方案，每個生成的代幣的能效最高可達 3 倍，同時能夠在產品中立即進行經濟高效的部署。
Ambarella首席技術官兼聯合創始人Les Kohn表示：“GenAI網路實現了以前在我們的目標應用市場中無法實現的新功能。 所有邊緣裝置都將變得更加智慧型，我們的 N1 系列 SoC 能夠以極具吸引力的功耗實現世界一流的多模態 LLM 處理**。 ”
Omdia高階計算首席分析師Alexander Harrowell表示：“在接下來的18個月裡，幾乎所有的邊緣應用都將通過GenAI得到增強。 “當 genai 工作負載轉移到邊緣時，遊戲的每瓦效能將與邊緣生態系統的其他部分整合，而不僅僅是原始吞吐量。 ”
Ambarella的所有AI SoC均由該公司新的Cooper開發人員平台提供支援。 此外，為了縮短客戶的上市時間，Ambarella預先移植並優化了流行的LLM，如LLAMA-2，以及在N1上執行的大型語言和助手（ll**a）模型，用於對多達32個攝像機源進行多模態視覺分析。 這些經過預訓練和微調的模型將提供給 Cooper 模型庫中的合作夥伴**。
對於許多實際應用來說，視覺輸入是除語言之外的關鍵模式，而 Ambarella 的 SoC 架構本身非常適合以非常低的功耗處理 ** 和 AI。 與獨立的 AI 加速器不同，提供功能齊全的 SOC 可以有效地處理多模態 LLM，同時仍然能夠執行所有系統功能。
GenAI將成為計算機視覺處理的乙個功能步驟，為從安全裝置和自主機械人到工業應用的各種裝置帶來上下文和場景理解。 Ambarella 提供的裝置端 LLM 和多模態處理示例包括： 用於安全性的智慧型上下文搜尋**可以用自然語言命令控制的機械人;以及不同的 AI 助手，可以執行從生成到文字和影象生成的任何事情。
這些系統中的大多數都嚴重依賴攝像頭和自然語言理解，並將受益於裝置上生成的人工智慧處理，以提高速度和私隱性，並降低總擁有成本。 Ambarella解決方案支援的本地處理也非常適合特定於應用程式的LLM，這些LLM通常在每個單獨場景的邊緣進行微調;傳統的伺服器方法是使用更大、更耗電的 LLM 來滿足每個用例。
N1系列SoC基於Ambarella強大的CV3-HD架構（最初為自動駕駛應用而開發），以極低的功耗執行多模態LLM。 例如，N1 SoC 以低於 50W 的單流模式執行 LLAMA2-13B，每秒輸出多達 25 個令牌。 結合易於整合的預移植模型，這種新解決方案可以快速幫助 OEM 將生成式 AI 部署到任何功耗敏感型應用中，從本地 AI 盒子到送貨機械人。
本週，N1 SOC及其多模態LLM功能的演示將在CES期間在Ambarella展台展出。