知名商業媒體FastCompany近期採訪了Alex Kipman等行業領袖， 探討了MR體驗中的交互， 以及現實和虛擬融合對人類交互到底意味著什麼， 我們來具體瞭解下。
Alex Kipman是著名的“發明家”， 加入微軟16年的他是100多項專利的第一發明者， 擁有“Kinect之父”及“HoloLens之父”頭銜。 事實上， Alex Kipman在體感設備Kinect上的成就， 對微軟後來開發出MR設備HoloLens意義重大。 不過FastCompany與Alex Kipman本次對話的內容不是硬體， 而是從更廣泛的哲學角度探討人類與機器的關係。
無論是透過螢幕， 還是我們頭戴的設備與機器互動， 對Alex Kipman來說都只是“一瞬間”。 這位巴西出生， 隸屬於微軟Windows和設備部門的技術院士表示， 技術的關鍵恩澤是置換時間和空間的能力。 他帶來的MR技術能將真實世界與電腦生成的圖像混合， 並會在未來某天無縫融合增強現實和虛擬實境。 MR最令人興奮地特徵之一， 是擁有釋放“未定強國”到現實世界的潛能。
當與他人在物理上共用空間時(如坐飛機去與某人面對面對話)，
為了把我們推向未來， 微軟正賭在MR之上。 能否以合適價格推出合適設備， 將成為消費者接受MR的一個重要因素(雖然單憑設備不太可能啟動一場MR革命， 如果以VR系統滯銷作參考的話)。
微軟正視圖改變這一局面。 今年秋天， 這家公司將推出Windows MR頭盔， 這將是從概念走向公眾的第一次主要嘗試。
正如微軟看到的， 推出一個允許每個人創建自己數字世界的平臺， 將是引領和成就未來世界的第一步。 Kipman表示， “如果你們相信——正如我們所做的——MR是未來計算的必然趨勢， 它將涉及生產力、創造力、教育和從休閒到硬核遊戲的整個娛樂領域。 ”
完善MR
不只是Kipman對MR感到樂觀。 矽谷初創Avegant正通過“光場(light field)技術”， 提供詳細的三維圖像， 並能用於MR。 “應用是無止境的， ” Avegant公司CEO Joerg Tewes如此表示， “從設計師和工程師直接用手操控3D模型，
為了實現這些， M需能支持看似現實世界中貌似真實部分的虛擬影像， 並與其用一種連貫的方式行動。 中佛羅里達大學教授Gregory Welch指出， 大多數開發中的技術還未能達到平衡。 “MR在這方面尤其困難， 因為無論是虛擬的不完美， 還是真實的敬畏都無法隱藏。 ”
Avegant的光場技術
他和他的研究團隊發現，Hololens提供的相對寬廣的真實世界視覺可能會傷害最重要的存在感。一個健康人的視場角約為210度，而HoloLens僅能顯示30度的視場角。在Welch和他的團隊的實驗中，真實景觀與增強景觀之間的脫節減少了沉浸感和存在感。
“這意味著，如果你正看在你面前的虛擬人物(就像試驗中做的那樣)，你只會看到其中的一部分漂浮在你面前的空間裡，” Welch表示。“你必須上下搖頭來“畫”出他們的感覺，因為你沒法一次看到整個人，除非你從很遠的距離來看他們(這會讓他們看起來很小)。問題似乎是大腦持續地看到周圍的“正常”世界，這實際上“否決”你可能有的許多感知或行為。”
Welch以Hololens或蘋果ARKit看到的做了進一步解釋。舉例來講，虛擬物體可以出現在平面上，但除去基本形狀和視覺外觀，軟體無法識別這些物體的更多重要物理特徵，諸如重量、質心和運轉狀態，或是它所處平面——更不用說物體周圍真實世界發生的活動。“如果我在虛擬桌子上滾動了一對骰子，他可能不會在到達邊緣時“掉”下去，當然也不會根據地板類型和材質來彈跳。”
在Welch與斯坦福VHIL教授Jeremy Bailenson合著的論文中，略述過一些研究結果——當我們期望的虛擬物體行為與實際物體在現實世界行為一樣時，虛擬內容會更加有影響力。“在實驗室中，我們用HoloLens理解了AR體驗和隨後發生的，朝向物理空間本身的心理態度與行為的關係，”Bailenson教授表示。舉例來講，實驗中能通過實物的“幻影”虛擬人(指這些虛擬人會穿越實物，而不是像真實世界那樣繞開或避免碰到這些實物)，與視覺上遵守物理定律的虛擬人相比，會被認為更不“真實”。
MR的改進可能會讓頭盔變得越來越實惠和輕便，但也可能讓我們在未來交互中擺脫可穿戴設備。以Welch的空間增強現實(SAR)為例，你可以通過投影儀來改變周圍有形物體的外觀，如桌子材質或是沙發顏色——無需佩戴眼鏡。“當然SAR並不適用於所有情形，但當它奏效時，真的很吸引人。你周圍的世界將變得神奇，而且不需要你做任何事情——無需頭戴設備，無需手機，什麼也不需要。你只是處於一個周圍在無形改變的真實世界之中。”
與現實世界協作的虛擬工具
虛擬實境公司Emblematic公司CEO，以“VR教母”稱號為人熟知的Nonny de la Peña，正通過VR來打造一種新形式新聞，讓人們親身體驗到“沉浸式的新聞”。她相信，沉浸式科技是最接近於讓使用者感受“現場視角”的手段。De la Peña認為，Hololens擁有增加我們理解世界深度和品質的潛力，特別是容積捕獲技術(volumetric capture technique)，能通過多個相機和綠色螢幕來創建主題的3D模型。
“通過容積捕獲，微軟提供了高水準的現實主義，這正成為新聞記者工具箱的一部分，” De la Peña如此表示。Emblematic和PBS電視臺聯手打造的紀錄片《After Solitary》就使用了該技術，把用戶帶進了監獄，給觀眾一種更加發自內心的，長期監禁帶來的心理創傷感。
MR承諾帶來的主要轉變是內容不會錨定到任何特定設備。MR會通過積木(現實世界的物體，或是電腦生成的物體)來創建使用者進入和與他人交互的環境。在這樣的背景下，設備是觀看與訪問世界的視窗，而非儲存個人內容的倉庫(如智慧手機)。
Kipman指出，在這些可分享的現實/虛擬環境中，我們與計算的關係從個人變化為協作——從設備儲存自己的個人內容，到技術促成的共同創意空間。這將對我們未來如何設計應用程式產生深遠影響。舉例來講，你創建了一個虛擬雕像，並把它作為全息圖放到了客廳桌子上，擁有不同MR設備的另一個人同樣可以在客廳看到，並能夠移動它。這是因為設備沒有儲存你的內容，而是掃描和映射環境;來決定該環境有什麼物體(包括真實和虛擬的)。
“這些概念要求你在MR語境下重新定義作業系統，”Kipman說，“你必須建立一個基從矽到雲體系結構的基礎，使得從個人計算到協作計算的轉變成為可能。”這些事情都需要時間，但當這變為可能時，你能想到MR會帶給你什麼樣的改變嗎?
Avegant的光場技術
他和他的研究團隊發現，Hololens提供的相對寬廣的真實世界視覺可能會傷害最重要的存在感。一個健康人的視場角約為210度，而HoloLens僅能顯示30度的視場角。在Welch和他的團隊的實驗中，真實景觀與增強景觀之間的脫節減少了沉浸感和存在感。
“這意味著，如果你正看在你面前的虛擬人物(就像試驗中做的那樣)，你只會看到其中的一部分漂浮在你面前的空間裡，” Welch表示。“你必須上下搖頭來“畫”出他們的感覺，因為你沒法一次看到整個人，除非你從很遠的距離來看他們(這會讓他們看起來很小)。問題似乎是大腦持續地看到周圍的“正常”世界，這實際上“否決”你可能有的許多感知或行為。”
Welch以Hololens或蘋果ARKit看到的做了進一步解釋。舉例來講，虛擬物體可以出現在平面上，但除去基本形狀和視覺外觀，軟體無法識別這些物體的更多重要物理特徵，諸如重量、質心和運轉狀態，或是它所處平面——更不用說物體周圍真實世界發生的活動。“如果我在虛擬桌子上滾動了一對骰子，他可能不會在到達邊緣時“掉”下去，當然也不會根據地板類型和材質來彈跳。”
在Welch與斯坦福VHIL教授Jeremy Bailenson合著的論文中，略述過一些研究結果——當我們期望的虛擬物體行為與實際物體在現實世界行為一樣時，虛擬內容會更加有影響力。“在實驗室中，我們用HoloLens理解了AR體驗和隨後發生的，朝向物理空間本身的心理態度與行為的關係，”Bailenson教授表示。舉例來講，實驗中能通過實物的“幻影”虛擬人(指這些虛擬人會穿越實物，而不是像真實世界那樣繞開或避免碰到這些實物)，與視覺上遵守物理定律的虛擬人相比，會被認為更不“真實”。
MR的改進可能會讓頭盔變得越來越實惠和輕便，但也可能讓我們在未來交互中擺脫可穿戴設備。以Welch的空間增強現實(SAR)為例，你可以通過投影儀來改變周圍有形物體的外觀，如桌子材質或是沙發顏色——無需佩戴眼鏡。“當然SAR並不適用於所有情形，但當它奏效時，真的很吸引人。你周圍的世界將變得神奇，而且不需要你做任何事情——無需頭戴設備，無需手機，什麼也不需要。你只是處於一個周圍在無形改變的真實世界之中。”
與現實世界協作的虛擬工具
虛擬實境公司Emblematic公司CEO，以“VR教母”稱號為人熟知的Nonny de la Peña，正通過VR來打造一種新形式新聞，讓人們親身體驗到“沉浸式的新聞”。她相信，沉浸式科技是最接近於讓使用者感受“現場視角”的手段。De la Peña認為，Hololens擁有增加我們理解世界深度和品質的潛力，特別是容積捕獲技術(volumetric capture technique)，能通過多個相機和綠色螢幕來創建主題的3D模型。
“通過容積捕獲，微軟提供了高水準的現實主義，這正成為新聞記者工具箱的一部分，” De la Peña如此表示。Emblematic和PBS電視臺聯手打造的紀錄片《After Solitary》就使用了該技術，把用戶帶進了監獄，給觀眾一種更加發自內心的，長期監禁帶來的心理創傷感。
MR承諾帶來的主要轉變是內容不會錨定到任何特定設備。MR會通過積木(現實世界的物體，或是電腦生成的物體)來創建使用者進入和與他人交互的環境。在這樣的背景下，設備是觀看與訪問世界的視窗，而非儲存個人內容的倉庫(如智慧手機)。
Kipman指出，在這些可分享的現實/虛擬環境中，我們與計算的關係從個人變化為協作——從設備儲存自己的個人內容，到技術促成的共同創意空間。這將對我們未來如何設計應用程式產生深遠影響。舉例來講，你創建了一個虛擬雕像，並把它作為全息圖放到了客廳桌子上，擁有不同MR設備的另一個人同樣可以在客廳看到，並能夠移動它。這是因為設備沒有儲存你的內容，而是掃描和映射環境;來決定該環境有什麼物體(包括真實和虛擬的)。
“這些概念要求你在MR語境下重新定義作業系統，”Kipman說，“你必須建立一個基從矽到雲體系結構的基礎，使得從個人計算到協作計算的轉變成為可能。”這些事情都需要時間，但當這變為可能時，你能想到MR會帶給你什麼樣的改變嗎?