輝達NVIDIA執行長黃仁勳與Meta執行長祖克柏（Mark Zuckerberg）今天在電腦繪圖大會SIGGRAPH 2024舉行對談，黃仁勳擔任主持人，向祖克柏發問，兩人席間互讚對方引領AI技術進步，兩人除期盼開源系統重獲主導權，同時預期「智慧眼鏡」將被廣泛採用。
SIGGRAPH 2024今天在丹佛科羅拉多會議中心（Colorado Convention Center）舉行，黃仁勳與祖克柏公開就人工智慧（AI）技術進行對談，祖克柏被問到下一波AI浪潮時預期，每個人都會配戴AI驅動的裝置。
AI崛起，祖克柏看好智慧眼鏡
AI技術崛起後，許多科技公司希望將技術應用至電腦、手機以外的其他產品，好比蘋果的Vision Pro。祖克柏認為，智慧眼鏡將會成為主流，並表示最終將會有不同價格和不同技術產生的一系列穿戴式眼鏡產品讓大眾選擇。
Meta之前與知名太陽眼鏡品牌「雷朋」（Ray-Ban）合作推出的新一代智慧眼鏡，祖克柏預測，不配備顯示螢幕的非傳統式智慧眼鏡價格會落在300美元（約新台幣9264元），最終可能有「數以萬計或數億人」擁有智慧眼鏡。
他說，透過下一代智慧眼鏡，可以和AI直接對話，並表示公司正在開發下一代智慧眼鏡，設計上將「時尚的需求」納入考量。
這場公開對談，由黃仁勳擔任主持人，向祖克柏就近期AI話題提問。Meta上個星期剛推出大型開源模型Llama 3.1，祖克柏聊到此話題時情緒頗為激動。
他說自己成長於網路時代，當時是開放系統，後來手機成為主流，蘋果改變了遊戲規則，變成一個封閉平台，希望接下來能回到由開放生態系主導的環境。
黃仁勳：我們已經使AI民主化，讓每個行業都能參與AI
祖克柏說他曾嘗試開發許多產品，但因平台封閉受限，他甚至意外飆出髒字，黃仁勳提醒這場會議有對外播出，他才連忙說抱歉。
黃仁勳則是在另一場談話被問及開源生態系的問題，他表示，「我們已經使AI民主化，讓每個行業都能參與AI。」
祖克柏也再次強調，未來Meta的AI工具可以幫住小企業和創作者，產生自己的AI，類似代理人或助手的角色，幫助民眾建立自己的「數位雙胞胎」。
另外，為了加速推動全球人形機器人的開發，NVIDIA今日宣布將為全球領先的機器人製造商、人工智慧（AI）模型開發商和軟體製造商提供一整套服務、模型和運算平台，用以開發、訓練和製造下一代人形機器人。
其中包括用於機器人模擬與學習的全新NVIDIA NIM™ 微服務與框架、用於運行多階機器人工作負載的 NVIDIA OSMO 協調服務，以及支援 AI 與模擬的遠端操作工作流程，開發人員只要使用少量的人類示範資料便能訓練機器人。
NVIDIA 創辦人暨執行長黃仁勳表示，AI領域發展的下一波浪潮便是機器人，而人形機器人是其中最令人期待的發展。我們將推動整個 NVIDIA 機器人堆疊，開放全球人形機器人開發人員與公司使用最適合其需求的平台、加速函式庫與AI模型。
利用NVIDIA NIM和OSMO加速開發
NIM微服務提供預先建置、由NVIDIA推論軟體驅動的容器，讓開發人員可以將部署時間從原本需要的數週縮短到只要幾分鐘即可完成。兩項全新的 AI 微服務將可讓機器人專家在 NVIDIA Isaac Sim™ 中，強化生成式物理 AI 的模擬工作流程，而NVIDIA Isaac Sim™ 是建構在 NVIDIA Omniverse™ 平台上的機器人模擬參考應用程式。
MimicGen NIM 可根據來自 Apple Vision Pro 等空間運算裝置記錄下的遠距操作資料，產生合成運動資料。Robocasa NIM 可在 OpenUSD 中產生機器人任務與模擬就緒的環境，而 OpenUSD 是用於在 3D 世界中進行開發與協作的通用框架。
現已開放使用的NVIDIA OSMO是一項雲端原生託管式服務，可讓使用者在分散式運算資源中協調與擴充複雜的機器人開發工作流程，無論是在內部部署或雲端環境中。
OSMO 大幅簡化機器人訓練與模擬工作流程，將部署與開發週期時間從數個月縮短至一週以內。使用者可以視覺化和管理一系列任務，例如生成合成資料、訓練模型、進行強化學習和為人形機器人、自主移動機器人和工業機械手臂實施大規模的軟體在環（software-in-the-loop）測試。
推進人形機器人開發人員的資料擷取工作流程
訓練人形機器人的基礎模型需要大量資料。使用遠距操作是擷取人類示範資料的方式之一，但這個過程變得越來越昂貴且漫長。
在 SIGGRAPH 電腦繪圖大會上展示的一個NVIDIA AI 與 Omniverse 驅動的遠距操作參考工作流程，可讓研究人員與 AI 開發人員從最少量的遠端擷取人類示範內容中，產生大量的合成運動和感知資料。
首先，開發人員使用 Apple Vision Pro 擷取少量遠端操作示範內容。他們接著在 NVIDIA Isaac Sim 中模擬這些錄影內容，並且使用 MimicGen NIM 從當中產生合成資料集。
開發人員利用真實與合成資料訓練 Project GR00T 人形機器人基礎模型，讓開發人員省下時間及成本。接著，他們在機器人學習框架 Isaac Lab 中使用 Robocasa NIM 來產生經驗，以重新訓練機器人模型。NVIDIA OSMO 在整個工作流程中會流暢將運算工作指派給不同資源，這樣開發人員可以省下數週的行政工作。
通用機器人平台公司 Fourier 看到了使用模擬技術來生成合成訓練資料的好處。
Fourier 執行長 Alex Gu 表示：「開發人形機器人是一件極其複雜的工作，需要使用大量從現實世界中經過漫長時間取得的真實資料。NVIDIA 全新的模擬與生成式AI開發工具將有助於引導和加速我們的模型開發工作流程。」
讓更多人取得NVIDIA開發人形機器人的技術
NVIDIA 提供三種運算平台來簡化開發人形機器人的作業：用於訓練模型的 NVIDIA AI 超級電腦；建立在 Omniverse 上的 NVIDIA Isaac Sim，機器人可以在模擬世界中學習和完善技能；NVIDIA Jetson™ Thor 人形機器人電腦用於運行模型。開發人員可因應其特定需求，取得和使用所有或任何部分的平台。
開發人員現在就可以加入NVIDIA 人形機器人開發者計畫，取得 NVIDIA OSMO 與 Isaac Lab，並也即將能使用NVIDIA NIM微服務。從黃仁勳的爐邊談話內容，也可以進一步瞭解從今日起到8月1日在丹佛舉行的 SIGGRAPH 電腦繪圖大會上生成式 AI 與加速運算的最新發展。
