華文網

英偉達 Holodeck 國內亮相,在 VR 中看跑車“炸裂”是怎樣的體驗?

北京國際廣播電影電視設備展覽會(BIRTV)是中國最具權威的廣播電影電視專業設備綜合展覽會,

每年我們都會從這場展覽會上看到最新的影視技術和設備。

其實,英偉達早就不是我們印象中的“電腦晶片”公司了。今年 5 月的 GTC 大會上,英偉達 CEO 黃仁勳發表了時長 2 小時的主題演講,內容涵蓋 VR、GPU 雲服務、自動駕駛晶片、深度學習、機器人訓練等等,期間推出了 VRWork Audio SDK,用於在 VR 中實現身歷聲效。不久前的 SIGGRAPH 大會上,我們瞭解到,影視級專業相機 Z CAM V1 PRO 就集成了 VRWork SDK,

可實現 360 度 VR 立體直播。

VRWorks 360 Video SDK

目前,360 度 VR 全景視頻是電影電視行業不斷探索的方向,這也就不奇怪為什麼英偉達會參加 BIRTV。

現場,英偉達的 VR 相關負責人介紹了針對 VR 領域,VRWork 所能做的事情包括四個方面:模擬真實世界的觸感,模擬身歷聲效,實現更好、更高效的畫面渲染,

以及 360 度視頻拍攝和直播。

2016 年的 SIGGRAPH 大會上,他們便推出了 LIVE 360 Mono,但當時音效只能實現單聲道,今年則實現了身歷聲效。

VRWorks 360 Video SDK 支持即時和後期製作的 360 度單聲道和身歷聲工作流程,可支援:

4K 攝像機即時&離線視頻拼接

GPU 加速的視頻解碼、校準、拼接和編碼

360 度投影至立體地圖和全景

GPUDirect for Video,可實現低延遲視頻採集

多達 32 路視頻流

該 SDK 免費開放,可登陸其官網進行下載。

英偉達工作人員表示畫面拼接的關鍵在於,

“全景相機由多個攝像頭構成,各個攝像頭之間會有畫面重疊的部分,並且可能不在同一個時間點,畫面拼接時必須在同一個時序裡面;二是兩個臨近的攝像頭拍攝時,如何識別出畫面重合的部分,拼接完可能會漏掉,我們一定會做‘補洞’、‘補光’。”

“我們的 GPU 效率可能更高,這是涉及硬體層面的架構。”

Project Holodeck

除了全景視頻,這次他們還把 Holodeck 的演示片段帶到了現場。

Holodeck 的演示 Demo 十分簡單,直觀些說,這是針對汽車設計者製作的內容。Demo 中你會看到一輛價值不菲的跑車,你可以隨意調整汽車的顏色(外觀和車座),可以拿著尺規測量車輪的大小,可以站在車外“透視”到前車蓋下的發動機,還可以讓整輛車全部“炸開”,看到跑車的各個零件,

並且“遊走”在這些零件間(這是比較震撼的場景)。

由於展會場地條件的限制,現場網路狀況不好,雷鋒網沒有體驗到“多人協作”的模式(但在 SIGGRAPH 上雷鋒網其他編輯體驗過多人模式)。

工作人員表示,Demo 中的跑車使用了 5000 多萬個面,至於 Holodeck 下一步到底具體怎麼用,現在還沒有確定,要等 9 月份北京舉辦的 GTC 大會上的新消息。

此前雷鋒網在 SIGGRAPH 大會上對 Holodeck 有過較為詳細的報導,英偉達專業 VR 業務主管 David Weinstein 透露,Holodeck 將在 9 月進行內測,屆時會邀請一部分合作夥伴參與,收集各方回饋對 Holodeck 進行優化。他也反復強調,Holodeck 現在只是一個專案,不能算產品,只有在完善到一定程度之後才會公測。

作為一個架構,英偉達會把 Holodeck 提供給遊戲、娛樂與工作應用開發商,用於開發它們的具體產品。

英偉達的工作人員還透露了一些他們正在試驗室裡做的事情。例如,現有的 HTC Vive 手柄只能夠震動,如果讓手柄實現力回饋,這將大大增強沉浸感;還有 SIGGRAPH 上展示過的“變焦虛擬:近眼現實的新型光學結構(Varifocal Virtuality: A Novel Optical Layout for Near-Eye Display)”。

現在還沒有確定,要等 9 月份北京舉辦的 GTC 大會上的新消息。

此前雷鋒網在 SIGGRAPH 大會上對 Holodeck 有過較為詳細的報導,英偉達專業 VR 業務主管 David Weinstein 透露,Holodeck 將在 9 月進行內測,屆時會邀請一部分合作夥伴參與,收集各方回饋對 Holodeck 進行優化。他也反復強調,Holodeck 現在只是一個專案,不能算產品,只有在完善到一定程度之後才會公測。

作為一個架構,英偉達會把 Holodeck 提供給遊戲、娛樂與工作應用開發商,用於開發它們的具體產品。

英偉達的工作人員還透露了一些他們正在試驗室裡做的事情。例如,現有的 HTC Vive 手柄只能夠震動,如果讓手柄實現力回饋,這將大大增強沉浸感;還有 SIGGRAPH 上展示過的“變焦虛擬:近眼現實的新型光學結構(Varifocal Virtuality: A Novel Optical Layout for Near-Eye Display)”。