來自凹飛寺量子位元的金磊 | qbitai
NVIDIA的最新大動作來了——通用具身代理。
英偉達高階科學家吉姆·範（Jim Fan）透露了這一訊息，他說：
我將和我的老隊友Yuke Zhu一起，在NVIDIA內部組建乙個新的研究小組，Gear，Universal Embodied Agent Research。 我們相信，在未來，每一台移動的機器都將是自主的，機械人和模擬代理將像iPhone一樣無處不在。 我們正在構建乙個基礎代理：乙個具有通用能力的人工智慧，可以學習如何在許多虛擬和現實世界中巧妙地行動。
Jim Fan 還強調，2024 年將是機械人、遊戲 AI 和模擬的一年。
而隨著這兩天英偉達市值的暴漲，Jim Fan也加了乙個X，表示：
我們有資金同時處理機械人基礎模型、遊戲基礎模型和生成模擬。 我們的團隊可能是世界上最富有的具身智慧型實驗室。
嗯，有錢，很有溝壑。
展示相關成果。
Jim Fan在發布這一新的職業訊息時，也盤點了NVIDIA之前在具身智慧型方面所做的相關工作。
例如，Eureka 被評為“2023 年 NVIDIA 十大專案”之一。
使用 GPT-4 生成獎勵函式，教學機械人完成 30 多項複雜任務：例如快速轉動筆、開啟抽屜和櫥櫃、投擲和接球。
使用 GPU 加速的物理模擬進行訓練，速度比實時快 1000 倍！
另乙個例子是 Voyager，將 GPT-4 放入 Minecraft
遊戲中科技樹點亮的速度是前一種方法的 15 倍3 次，同時獲得的唯一物品為前 3 次3次，探索範圍為23次。
更重要的是，Voyager 完全依賴於遊戲中的圖形，所有操作和反饋都通過文字和遊戲的 J**Ascript API 進行。
它也是第乙個精通 Minecraft 的 LLM 驅動代理。
此外，MineDojo 還獲得了 2022 年 Neurips 最佳獎。
本研究提出了乙個“具身 GPT-3”，由 3 個可以在無限世界中感知和行動的智慧型體組成。
MineDojo 是乙個開放的框架，將 Minecraft 變成了乙個 AGI 研究遊樂場。
該團隊收集了 100,000 個 YouTube wiki 頁面和 Reddit 帖子來培訓 Minecraft 特工。
還有像VIMA這樣的研究：第乙個帶有機械臂的多模態LLM，為機械人學習引入了“多模態提示”。
有關相關成就的更多盤點，您可以單擊文章末尾的鏈結。
被黃仁勳點燃的具身情報。
事實上，Jim Fan團隊負責人從事通用具身代理工作也就不足為奇了。
早在去年，黃仁勳就公開表達了自己對下一代人工智慧的看法：
這種新型的人工智慧被稱為具身人工智慧，它是可以理解、推理並與物理世界互動的智慧型系統。
從去年開始，無論是大學還是產業界，與具身智慧型相關的研究層出不窮。
最典型的就是史丹福大學的家務機械人，讓不少網友目瞪口呆。
那麼Jim Fan團隊今年會帶來什麼成績，就值得期待了。
參考鏈結：[1]。