訂閱
糾錯
加入自媒體

對話(huà)NVIDIA英偉達:AI已照進(jìn)現實(shí)

2024-05-09 13:45
MetaPost
關(guān)注

導讀:

NVIDIA 創(chuàng )始人兼首席執行官黃仁勛在 GTC 2024 主題演講上表示:下一波 AI 浪潮將是 AI 對物理世界的學(xué)習。

當下,全球范圍內價(jià)值超過(guò)50萬(wàn)億美金的行業(yè)正在競相實(shí)現數字化,數字孿生技術(shù)正在賦能千行百業(yè)。NVIDIA Omniverse 中國區業(yè)務(wù)負責人何展表示,AI 正在進(jìn)入物理世界。每一棟建筑、每一個(gè)倉庫、每一個(gè)工廠(chǎng),都將實(shí)現 AI 化,并持續優(yōu)化。新一代的數字孿生更需要使用數字化的技術(shù)、模擬世界的技術(shù),來(lái)訓練和測試 AI。

生成式 AI 有望徹底改變它所觸及的每一個(gè)行業(yè),掌握技術(shù)是迎接挑戰的關(guān)鍵。而我們想要的 AI 一定是值得信賴(lài)的、高性能的,這樣級別的 AI,需要在一個(gè)遵守物理定律的數字孿生世界中進(jìn)行模擬、驗證和仿真。

來(lái)聽(tīng) NVIDIA 英偉達的專(zhuān)家們聊聊,如何將物理世界模擬和 AI 融合在一起。

01

NVIDIA 的“三大靈魂”

今年的 GTC 主題演講上,黃仁勛說(shuō):“計算機圖形學(xué)、物理學(xué)引擎模擬仿真和 AI 是 NVIDIA 的靈魂所在。”

1、計算機圖形學(xué)

眾所周知,NVIDIA 是靠圖形學(xué)起家的。何展表示,不夸張地說(shuō),幾乎每一位 NVIDIA 的員工都以此為傲。利用 NVIDIA 的底層技術(shù),開(kāi)發(fā)者們可以將現實(shí)世界中每一個(gè)真實(shí)存在物品,都極度逼真地渲染及模擬出來(lái)。

2、 物理世界模擬技術(shù)

有了可以以假亂真的計算機圖形學(xué)技術(shù),做出了好的數字資產(chǎn),要真正賦能到應用,還缺一個(gè)要素——物理世界模擬技術(shù)。

來(lái)看兩個(gè)例子,一個(gè)是從宏觀(guān)的世界去模擬,一個(gè)是在極其微小的粒子世界里做模擬技術(shù),以賦能應用。

通過(guò) Omniverse 渲染引擎模擬粒子爆炸的實(shí)際情況,運用大量的計算去模擬真實(shí)的粒子分析,并且加速了很多倍,以呈現真實(shí)的效果。

微觀(guān)世界分子結構異常復雜的設計也需要模擬,且物理準確模擬非常重要。一個(gè)簡(jiǎn)單的例子,如果模擬精準度不夠真實(shí),那么我們今天的靶向藥物治療等方式,就都是無(wú)效的。

3、 AI 技術(shù)

過(guò)去幾年,AI 技術(shù)的變革顛覆了眾多行業(yè)。有了 AI 的加持,Omniverse 也帶來(lái)了全新的功能和體驗。

怎樣通過(guò) AI 技術(shù)快速構建一座數字孿生工廠(chǎng)?首先用 2D 的 PDF 圖紙,通過(guò)文字描述生成 3D 結構,用到的工具是 NVIDIA 的 DeepSearch,可以通過(guò)深度學(xué)習的方式檢索出你想要的模型資產(chǎn),并放置在數字孿生環(huán)境中。接著(zhù)調用SA軟件 BlenderGPT,通過(guò)文字生成工廠(chǎng)系統。再用 Adobe 通過(guò)文字生成大理石地面。然后通過(guò)其他軟件生成 GIS 數據,最終一個(gè)數字孿生工廠(chǎng)的 Demo 便完成了。

這一過(guò)程較傳統設計有了巨大的變化,無(wú)需操作其他軟件,只需通過(guò)文字和 Omniverse 便完成了這樣一個(gè)復雜的數字孿生制作過(guò)程。過(guò)去,如此復雜、專(zhuān)業(yè)的設計需要科班出身的設計師以及在工廠(chǎng)的實(shí)踐經(jīng)驗才能完成,F在,NVIDIA 提供的技術(shù)和平臺可以讓每個(gè)用戶(hù),只需輸入文字、會(huì )使用 Omniverse 的平臺軟件,就可以完成。

這就是 AI 和 Omniverse 結合之后實(shí)現的全新設計流程。

以上,NVIDIA 的三大靈魂,融合起來(lái)就是 Omniverse 。數據顯示,Omniverse 由超過(guò)300萬(wàn)行的代碼編寫(xiě)而成,在全球范圍內已經(jīng)集成和整合了超過(guò)240款工具軟件。如今,Omniverse 的數字孿生幾乎無(wú)處不在,涵蓋汽車(chē)、制造、媒體、建筑、能源、科學(xué)運算仿真等等各行各業(yè)。

02

融合三大靈魂的 Omniverse 

能做什么?

“三大靈魂”全部融合在一起,能做什么?

全球氣候模型 Earth-2,需要進(jìn)行 3D 交互式的天氣和季候數據的數字孿生模型,不僅要訓練大量的數據,還要把它們數字化。在這個(gè)模型中,我們可以看氣象的走向、大氣河的流動(dòng),還能看到颶風(fēng),并且精確到1公里范圍內,以幫助人類(lèi)預測它的準確路徑。充分應用了圖形學(xué)、物理世界模擬仿真,以及 AI。

能否用“三大靈魂”分析更多事呢?如何把這些技術(shù)融入到真實(shí)的企業(yè)應用環(huán)境中至關(guān)重要。

比如,用 AMR 小車(chē)(自主移動(dòng)機器人)眼中的數字孿生,同時(shí)還制作了大量“場(chǎng)站”數字孿生,以及工作人員視角下的數字孿生,這么多的數字孿生,通過(guò) USD API,連接到 Omniverse Cloud 上,整合背后超強的算力,不斷優(yōu)化布局,來(lái)響應突發(fā)事件的管理,以及和 LLM 一系列的交互。

每一個(gè)場(chǎng)站的布局背后都有很多的數字孿生模型,就像有一只無(wú)形的手在操作,這個(gè)手就是 AI Agents,輔助這個(gè)標點(diǎn)符號里每一個(gè)場(chǎng)站 ARM 小車(chē)最優(yōu)的路徑,這就是物理世界和數字世界交互的一個(gè)非常生動(dòng)的例子。

給一輛小車(chē)布一個(gè)最優(yōu)路徑嘗試一下,再給它一個(gè)突發(fā)事件,看它如何實(shí)時(shí)調整路徑。假設這邊貨架突然倒塌,它能否及時(shí)調整路徑?可以看到,ARM 小車(chē)不但重新規劃了自己的路徑,路過(guò)時(shí)還對 AI Agents 說(shuō):“我感覺(jué)出現問(wèn)題了,你趕緊去處理。”這個(gè)過(guò)程背后技術(shù)的復雜程度其實(shí)是非常高的,同時(shí)需要數字孿生模型、AI 和算力。

而隨著(zhù)各行業(yè)競相將自己重塑為軟件驅動(dòng)的科技公司,每個(gè)領(lǐng)域的生成式 AI 也都如雨后春筍般興起,3D 數據正在實(shí)現互操作性,高級圖形學(xué)以及從邊緣到云的仿真計算能力的進(jìn)步,都為各行業(yè)的物理流程數字化帶來(lái)了全新機遇。

03

仿真工作流 加速 AI 訓練

今年 GTC 上,Omniverse 帶來(lái)的最大更新便是 Omniverse Cloud API,把 Omniverse 放到云端,提供一個(gè)應用程序編程接口 API,讓開(kāi)發(fā)人員可以將 Omniverse 最核心的技術(shù)直接集成到已有的應用層和工作流中。

Omniverse 不僅可以幫助全球工業(yè)企業(yè)加速自動(dòng)駕駛車(chē)輛、人形機器人、智能倉儲、大規模智慧城市等工作流程,Omniverse Cloud API,更將為基于 AI 的數字孿生仿真工作流的訓練、模擬,以及后階段的部署帶來(lái)全新加速。

隨著(zhù)全球自動(dòng)駕駛汽車(chē)和機器人需求的不斷增加,AI 開(kāi)發(fā)人員可能需要更多的傳感器數據來(lái)進(jìn)行訓練、測試、驗證這些 AI 的感知系統,而這些感知系統可以通過(guò)傳感器模擬方式去實(shí)現一個(gè)合成數據的 1:1 數字孿生世界,在 Omniverse 構架的虛擬世界里進(jìn)行訓練、測試、仿真、驗證等。這些合成數據都需要物理上非常精確的、符合物理定律的渲染。

AI 是如何在虛擬世界中進(jìn)行訓練的?

AI 和仿真最重要的是軟件在環(huán)(SIL)和硬件在環(huán)(HIL)。將所有機器人、自動(dòng)駕駛汽車(chē)、自主移動(dòng)設備、傳感器全部仿真放在 Omniverse 里,環(huán)境、場(chǎng)景都是實(shí)時(shí)渲染出來(lái)的,以實(shí)時(shí)喂料的方式喂給機器人的傳感器,傳感器看到的數據是假的,傳感器本身也是虛擬出來(lái)的,汽車(chē)傳感器看到的畫(huà)面也是合成數據。把虛擬傳感器捕捉到的數據,和汽車(chē)傳感器得到的數據融合在一起,放在數字孿生里渲染,稱(chēng)之為 SIL。將 SIL 里訓練好的模型,部署到硬件設備上,再做物理的路測或環(huán)境測試,叫做 HIL。做強化學(xué)習的時(shí)候,要確保學(xué)習環(huán)境是真實(shí)有效的,訓練好的模型也是真實(shí)有效的,最后再到物理世界去部署。

最終,機器人系統、AI 和 Omniverse 形成了技術(shù)閉環(huán)。

04

Omniverse 登錄 Apple Vision Pro

全球最受矚目的兩家科技巨頭攜手,NVIDIA 與 Apple 一起,把 Omniverse 帶到了 Apple Vision Pro 中去,將許多 3D 工作流尤其是工業(yè)環(huán)境下的數字孿生的工作流游戲化,打破了傳統的工業(yè)工作流程。

Omniverse 里的 GPU 是頂尖的 RTX GPU,三大核心點(diǎn):

1.傳統著(zhù)色的部分,可以用來(lái)做像素的渲染,確保畫(huà)面是美輪美奐的;

2.光線(xiàn)追蹤加速,用包裹體便利的方式去做實(shí)時(shí)光線(xiàn)追蹤,延遲更低,幀率更高,與用戶(hù)的互動(dòng)性也更強;

3. Tensor,RTX GPU 里有針對張量運算的 tensor 運算,還可以加速 AI 的訓練,如大模型、GenA、neural graphics、NeRF 等,都可以用 AI 去運算。

在云端 Omniverse API 連接各種應用程序,基于 USD 或 OpenUSD 打通數字資產(chǎn)之間的連接和調用,再通過(guò) RTX GPU 強大的算力和符合物理定律的實(shí)時(shí)光線(xiàn)追蹤完成畫(huà)面渲染,最后呈現在 Apple Vision Pro 用戶(hù)眼前的就是真實(shí)的 3D 空間場(chǎng)景。

Omniverse 強大的空間計算帶來(lái)的全新工作流,使得設計師可以在 Apple Vision Pro 里實(shí)現沉浸式體驗,以及人、產(chǎn)品、流程與物理空間之間的無(wú)縫互動(dòng)。在 MR 里設計出的虛擬產(chǎn)品將與物理世界中的實(shí)際產(chǎn)品一模一樣,所見(jiàn)即所得,想想都令人興奮。

結語(yǔ):

波士頓咨詢(xún)公司(BCG)對企業(yè)最高管理層的調查顯示,近四分之三的管理者計劃在今年增加公司的技術(shù)投資,89% 的管理者將 AI 和生成式 AI 列為前三大優(yōu)先事項中。超半數的企業(yè)希望利用 AI 提高生產(chǎn)力、改善客戶(hù)服務(wù)和提升 IT 效率,以實(shí)現降本增效。

“AI 已經(jīng)進(jìn)入了物理世界。未來(lái)將是可生成的。”

END

圖 | NVIDIA官網(wǎng)

       原文標題 : 對話(huà)NVIDIA英偉達:AI已照進(jìn)現實(shí)

聲明: 本文由入駐維科號的作者撰寫(xiě),觀(guān)點(diǎn)僅代表作者本人,不代表OFweek立場(chǎng)。如有侵權或其他問(wèn)題,請聯(lián)系舉報。

發(fā)表評論

0條評論,0人參與

請輸入評論內容...

請輸入評論/評論長(cháng)度6~500個(gè)字

您提交的評論過(guò)于頻繁,請輸入驗證碼繼續

暫無(wú)評論

暫無(wú)評論

人工智能 獵頭職位 更多
掃碼關(guān)注公眾號
OFweek人工智能網(wǎng)
獲取更多精彩內容
文章糾錯
x
*文字標題:
*糾錯內容:
聯(lián)系郵箱:
*驗 證 碼:

粵公網(wǎng)安備 44030502002758號