「尺度」虛擬實境（VR）和增強現實（AR）的未來發展前景
本文轉載自：雷課
早在2015年的穀歌I/O大會在5月28日至29日於三藩市舉行，虛擬實境作為重要的議題引發了無數人的探討。虛擬實境對普通的網友來說可能還是一個陌生的詞彙，但是在業內人士眼中虛擬實境絕對會成為下一個殺手級技術。
VR得益於三維遊戲的發展，而AR收益於影視領域的跟蹤技術（video tracking）的發展。
從技術門檻的角度來說，VR、AR和移動端重合的技術有：顯示器、運動感測器、處理器、儲存&記憶、無線連接……所以在硬體上，這些都不是技術難點。
VR、AR的難點都在感知和顯示，感知是一種mapping，VR mapping的是一個lighthouse的空間或者PS camera mapping的一個交叉；在顯示上，VR如何精准地匹配用戶的頭部產生相應的畫面，AR則在這基礎上算出光照、遮擋等情況並讓圖像通透不干擾現實中的視線。
而VR硬體的難點在於光學的鏡片技術和位置追蹤技術，
而AR的硬體難點在於顯示和感知，顯示最大的難點在於accommodation，因為使用者看見虛擬物體固定在2-3米的位置，而現實物體卻可以前後聚焦，如果這時虛擬物體放在現實物體上，則會引發輻輳→用戶聚焦錯亂；而在感知上，即使是有Kinect是十幾年積累的hololens，它已經做到世界第一了，可它的spatial mapping仍需要花費很多時間去掃描去建模，
當然，也因為這些技術的門檻，導致硬體價格居高不下。
正因為此，AR行業一片冷寂，而VR行業非常火爆，因為VR的技術門檻比AR低一個數量級，VR更容易成功。
從軟體角度來說，現階段視覺上的難點比較多：
VR的核心技術是tracking（追蹤）和CG（電腦圖形）。三自由度的方向追蹤，六自由度的位置追蹤（見《追蹤設備的使用場景和覆蓋範圍有哪些局限？是否會影響VR可交互的空間的設計？》）
前的虛擬實境技術的呈現，主要是體驗者依靠全封閉的頭戴型顯示器觀看電腦模擬產生的虛構世界的影像，
目前，虛擬實境技術大家來說還是充滿了神秘感，除了知道各高端品牌推出的頭戴顯示器外，恐怕對虛擬實境技術就再無太多的瞭解了。想必大家都會覺得虛擬實境技術是一門高新技術，但其實不然，早在1965年就有科學家在論文中提及了包括具有交互圖形顯示、力回饋設備以及聲音提示的虛擬實境系統的基本思想，而第一個頭戴顯示器早在1966年就由MIT林肯實驗室研製成功了
下面筆者就從虛擬實境相關技術、虛擬實境設備、虛擬實境的不足等三個方面，為大家層層揭開虛擬實境技術神秘的面紗。
3D模型實現了現實的虛擬
13D模型實現了現實的虛擬
筆者認為從本質上說，虛擬實境是一種先進的電腦使用者介面，它通過給使用者同時提供視、聽、觸等各種直觀而又自然的即時感知交互手段，因此具有多感知性、存在感、交互性、自主性等重要特徵。其實，虛擬實境技術並不是一項單一的技術，而是多種技術綜合後產生的，其核心的關鍵技術主要有動態環境建模技術、立體顯示和感測器技術、系統開發工具應用技術、即時三維圖形生成技術、系統集成技術等五大項。
一張圖帶你瞭解虛擬實境系統
●動態環境建模技術
動態環境建模技術是虛擬實境比較核心的技術，它的目的是獲取實際環境的三維資料，並根據應用的需要，利用獲取的三維資料建立相應的虛擬環境模型。
●立體顯示和感測器技術
虛擬實境的交互能力依賴於立體顯示和感測器技術。現有的虛擬實境還遠遠不能滿足系統的需要，虛擬實境設備的跟蹤精度和跟蹤範圍有待提高。同時，顯示效果對虛擬實境的真實感、沉浸感，都需要通過高的清晰度來實現。
●系統開發工具應用技術
虛擬實境技術應用的關鍵是尋找合適的場合和物件，即如何發揮想像力和創造力。選擇適當的應用物件可以大幅度地提高生產效率、減輕勞動強度、提高產品開發品質。為了達到這一目的，必須研究虛擬實境的開發工具。例如，虛擬實境系統開發平臺、分散式虛擬實境技術等。
●即時三維圖形生成技術
目前，三維圖形技術已經較為成熟，其關鍵是如何實現“即時”立體效果的生成。為了達到即時的目的，至少要保證圖形的刷新率不低於15楨/秒，最好是高於30楨/秒。在不降低圖形的品質和複雜度的前提下，如何提高刷新頻率將是該技術的研究內容。
●系統集成技術
集成技術包括資訊的同步技術、模型的標定技術、資料轉換技術、資料管理模型、識別和合成技術等等。由於虛擬實境中包括大量的感知資訊和模型，因此系統的集成技術也起著至關重要的作用。
另外，虛擬實境系統主要由檢測模組、回饋模組、感測器模組、控制模組、建模模組構成。檢測模組，檢測使用者的操作命令，並通過感測器模組作用於虛擬環境。回饋模組，接受來自感測器模組資訊，為使用者提供即時回饋。感測器模組，一方面接受來自使用者的操作命令，並將其作用於虛擬環境；另一方面將操作後產生的結果以各種回饋的形式提供給用戶。控制模組則是對感測器進行控制，使其對用戶、虛擬環境和現實世界產生作用。建模模組，獲取現實世界組成部分的三維表示，並由此構成對應的虛擬環境。在五個模組的協調作用下，最終夠建出3D模型，實現對現實的虛擬。
它模糊的虛擬與現實界限
2它模糊的虛擬與現實界限
虛擬實境系統根據體驗者參與形式的不同大致可分為四種模式：桌面式、沉浸式、增強式和分散式。桌面式以普通顯示器或者立體現實器影像為呈遞視窗；沉浸式利用頭戴式顯示器顯示影像；增強式則是把真實環境和虛擬環境疊加在一起，現在已成為虛擬實境的分支，即增強現實；分散式則是將異地不同用戶聯結起來，共同觀看、操作同一虛擬世界中的內容。同時，虛擬實境系統還可以配備位置跟蹤器、資料手套和其他輔助設備、設施等，為體驗者提供更真實的沉浸感現實體驗。
目前，最為受推崇的應該要算沉浸式虛擬實境系統了，下面筆者就以其為例，介紹一下已經實現產品化的虛擬實境設備。
●頭戴式顯示器
谷歌、三星、索尼等公司都推出了自己的顯示頭戴產品，大部分已投放到市場中，以具有領航者身份的Oculus Rift顯示頭戴最具代表性，其擁有110°視角，全封閉視覺環境。在戴上它之後，使用者將看到另一個虛擬的世界，通過雙眼視差以及畫面變形，使用者會有很強的立體感與景深感，仿佛置身虛擬世界當中。此外設備中配有陀螺儀、加速計，用以追蹤頭部轉動，達到更加強烈的浸入感。
三星Gear VR頭戴式顯示器
●資料手套
資料手套也是虛擬實境系統的重要組成，集成了感測器技術和光纖技術等，可以即時獲取人手的動作姿態，感知手指關節的彎曲狀態，精確定位，產生力回饋，在虛擬實境環境中再現人手動作，已達到人機交互的目的。
資料手套
目前，虛擬實境資料手套主要有5DT、Cyber Glove、DGTech等公司生產，根據使用者的需求，提供不同配置、精確度的版本選擇，價格在幾千元到幾萬元間不等。
●全方位跑步機
全方位跑步機
以Virtuix Omni虛擬實境跑步機為例，其需要與Oculus Rift虛擬實境頭戴裝置或PC控制器來配合使用，無法獨立運行。在配備了專用的跑鞋、遊戲槍之後，就可以用第一人稱的視角來進行FPS射擊遊戲，可以模擬在遊戲中的場景，根據自己的自由意志進行自然的移動，真正的做到“跑起來”的感覺。Virtuix Omni專用的跑步鞋可以通過與跑步機地盤上的感測器同步資料，並且在佩戴Oculus Rift之類的虛擬實境設備之後，玩家轉頭、側身等動作都可以在遊戲中同步，帶來絕對身臨其境的感受。可以說整套系統最大程度的整合了視覺、聽覺、動作等因素，給人以極大的逼真感，徹底模糊了虛擬與現實的界限。
虛擬實境難以突破的瓶頸
3虛擬實境難以突破的瓶頸
●無法完全解決的眩暈感——你可能會嘔吐
目前，虛擬實境體驗上的最大問題就是眩暈感。體驗者在適應全新的感官環境時，可能會出現類似暈車的狀況。雖然一些研究人員表示在虛擬影像中添加一個鼻部圖像，可能會説明體驗者更好地適應，但目前尚未得到虛擬實境設備及軟體廠商的支援。雖然一些高端設備在不同程度上解決了眩暈感的問題，但因體驗者自身身體狀況、適應能力的影響，還是無法完全避免眩暈感的產生，體驗者連續佩戴的時間可能無法超過30分鐘。
無法完全解決的眩暈感
●“沉浸體驗”和“真實感”難兼得
沉浸體驗常被作為衡量虛擬實境好壞的一個重要指標，然而在當前的技術條件下，沉浸體驗卻成了另一個衡量指標——畫面“真實感”（即清晰度）的“天敵”。
想要畫面變得更真實，就需要高清晰度來支援，如果清晰度提高了，那麼畫面就會離人眼更遠，從而降低沉浸體驗；反之亦然。之所以會如此，主要是因為螢幕解析度的限制。我們可以理解為，離螢幕越近，顆粒感越強，而顆粒感，通過透鏡放大後進一步明顯，從而使得人眼獲取的實境比較模糊；如果解析度沒有高到一定程度，就無法解決這個難題。
沉浸體驗”和“真實感”難兼得
如果要達到沉浸體驗和清晰度的均衡，至少需要4K的解析度，但目前，市面上各家VR頭戴顯示器公司所生產的產品還未能到達這一解析度，都還在探索如何在“沉浸體驗感”和“清晰度”間找到更好的“平衡點”，以求得在相對好的沉浸體驗下，不降低清晰度。不過，這個矛盾僅僅是VR硬體上所面臨諸多問題中的一個。
●螢幕刷新率也是一個難以突破的瓶頸
120HZ的螢幕刷新率是保證VR畫面接近于現實的最低要求，當前手機螢幕的刷新率基本還停留在60HZ水準，PC顯示器可以滿足。同時，刷新率的提升，會對晶片的計算、功耗造成很大壓力， 這對設備的硬體提出了要求。
手忙腳亂的使用者
●你也許覺得自己很酷，但別人認為很蠢
也許你佩戴上虛擬實境顯示器會覺得自己很酷，但從旁觀者的角度來說，無疑會感覺你有些怪異和愚蠢。當你佩戴虛擬實境顯示器沉浸在虛擬世界裡時，你的眼睛被完全蒙上了，看不到現實周圍的情況，自言自語或是大笑大叫，顯然會讓周圍的人感到你很滑稽。 另外，對於一些本來就分不清幻想和現實的病人來說，虛擬實境可能會對他們造成更嚴重的精神問題，加重他們的病情，甚至在嚴重的情況下，還有可能會出現妄想症。
虛擬實境是一個造夢的行業
即便虛擬實境技術發展慢於預期、也存在一些需要解決的問題，它仍是最有潛力的趨勢化技術。螢幕解析度、刷新率，晶片計算能力、功耗以及元件上的瓶頸，直接限制了虛擬實境技術在手機端的發展。硬體和內容的雙重掣肘，讓虛擬實境很大程度上還只停留在“概念”層面。而資本市場的過度繁榮，雖然帶來了一些利好，但並未解決產業的實質問題。
虛擬實境技術的發展還不夠成熟
虛擬實境是一個造夢的行業，立體化的拓展了我們的感知空間，也許現在虛擬實境技術的未來還不能夠清晰的被勾勒出來，相關產品的普及也還需要很長一段時間。現在，虛擬實境頭戴顯示的畫面還不夠清晰，仍然可以看到圖元顆粒，你也無法去觸摸你看到的東西，但隨著時間的推移，這一切都會有所改觀。雖然目前虛擬實境技術的發展還不夠成熟，存在著許多爭議，但不可否認的是，虛擬實境技術將會成為一種重要的新媒介、新的平臺，無論是對於遊戲還是社交，亦或是其他更多領域。
你會發現虛擬實境的一切都值得去等待
相信無論虛擬實境技術如何發展，產業怎樣演進，還有很多的未知等著我們去發現，無論是創新的引領者、推廣者還是接受者，都應保持一顆開放、寬容的心來迎接更多的可能。相信，你會發現虛擬實境的一切都值得去等待。
歡迎大家評論
《 召 集 令 》
身懷學術絕技的你速速前來！
1，有學術水準：一定的專業學術水準是必須的！
2，有獨到思想：具深度，廣度，銳度者為最佳！
3，內容範疇：自然科學，社會科學等等不設限！
4，資訊或翻譯類文章：符合上述條件的均可以。
學術plus諮詢/投稿郵箱
xueshuplus@163.com
聲明：版權歸原作者所有。文章觀點不代表本機構立場。
《中國電子科學研究院學報》歡迎各位專家、學者賜稿！投稿連結 //kjpl.cbpt.cnki.net
學報電話：010-68893411
學報郵箱：dkyxuebao@vip.126.com
但其實不然，早在1965年就有科學家在論文中提及了包括具有交互圖形顯示、力回饋設備以及聲音提示的虛擬實境系統的基本思想，而第一個頭戴顯示器早在1966年就由MIT林肯實驗室研製成功了下面筆者就從虛擬實境相關技術、虛擬實境設備、虛擬實境的不足等三個方面，為大家層層揭開虛擬實境技術神秘的面紗。
3D模型實現了現實的虛擬
13D模型實現了現實的虛擬
筆者認為從本質上說，虛擬實境是一種先進的電腦使用者介面，它通過給使用者同時提供視、聽、觸等各種直觀而又自然的即時感知交互手段，因此具有多感知性、存在感、交互性、自主性等重要特徵。其實，虛擬實境技術並不是一項單一的技術，而是多種技術綜合後產生的，其核心的關鍵技術主要有動態環境建模技術、立體顯示和感測器技術、系統開發工具應用技術、即時三維圖形生成技術、系統集成技術等五大項。
一張圖帶你瞭解虛擬實境系統
●動態環境建模技術
動態環境建模技術是虛擬實境比較核心的技術，它的目的是獲取實際環境的三維資料，並根據應用的需要，利用獲取的三維資料建立相應的虛擬環境模型。
●立體顯示和感測器技術
虛擬實境的交互能力依賴於立體顯示和感測器技術。現有的虛擬實境還遠遠不能滿足系統的需要，虛擬實境設備的跟蹤精度和跟蹤範圍有待提高。同時，顯示效果對虛擬實境的真實感、沉浸感，都需要通過高的清晰度來實現。
●系統開發工具應用技術
虛擬實境技術應用的關鍵是尋找合適的場合和物件，即如何發揮想像力和創造力。選擇適當的應用物件可以大幅度地提高生產效率、減輕勞動強度、提高產品開發品質。為了達到這一目的，必須研究虛擬實境的開發工具。例如，虛擬實境系統開發平臺、分散式虛擬實境技術等。
●即時三維圖形生成技術
目前，三維圖形技術已經較為成熟，其關鍵是如何實現“即時”立體效果的生成。為了達到即時的目的，至少要保證圖形的刷新率不低於15楨/秒，最好是高於30楨/秒。在不降低圖形的品質和複雜度的前提下，如何提高刷新頻率將是該技術的研究內容。
●系統集成技術
集成技術包括資訊的同步技術、模型的標定技術、資料轉換技術、資料管理模型、識別和合成技術等等。由於虛擬實境中包括大量的感知資訊和模型，因此系統的集成技術也起著至關重要的作用。
另外，虛擬實境系統主要由檢測模組、回饋模組、感測器模組、控制模組、建模模組構成。檢測模組，檢測使用者的操作命令，並通過感測器模組作用於虛擬環境。回饋模組，接受來自感測器模組資訊，為使用者提供即時回饋。感測器模組，一方面接受來自使用者的操作命令，並將其作用於虛擬環境；另一方面將操作後產生的結果以各種回饋的形式提供給用戶。控制模組則是對感測器進行控制，使其對用戶、虛擬環境和現實世界產生作用。建模模組，獲取現實世界組成部分的三維表示，並由此構成對應的虛擬環境。在五個模組的協調作用下，最終夠建出3D模型，實現對現實的虛擬。
它模糊的虛擬與現實界限
2它模糊的虛擬與現實界限
虛擬實境系統根據體驗者參與形式的不同大致可分為四種模式：桌面式、沉浸式、增強式和分散式。桌面式以普通顯示器或者立體現實器影像為呈遞視窗；沉浸式利用頭戴式顯示器顯示影像；增強式則是把真實環境和虛擬環境疊加在一起，現在已成為虛擬實境的分支，即增強現實；分散式則是將異地不同用戶聯結起來，共同觀看、操作同一虛擬世界中的內容。同時，虛擬實境系統還可以配備位置跟蹤器、資料手套和其他輔助設備、設施等，為體驗者提供更真實的沉浸感現實體驗。
目前，最為受推崇的應該要算沉浸式虛擬實境系統了，下面筆者就以其為例，介紹一下已經實現產品化的虛擬實境設備。
●頭戴式顯示器
谷歌、三星、索尼等公司都推出了自己的顯示頭戴產品，大部分已投放到市場中，以具有領航者身份的Oculus Rift顯示頭戴最具代表性，其擁有110°視角，全封閉視覺環境。在戴上它之後，使用者將看到另一個虛擬的世界，通過雙眼視差以及畫面變形，使用者會有很強的立體感與景深感，仿佛置身虛擬世界當中。此外設備中配有陀螺儀、加速計，用以追蹤頭部轉動，達到更加強烈的浸入感。
三星Gear VR頭戴式顯示器
●資料手套
資料手套也是虛擬實境系統的重要組成，集成了感測器技術和光纖技術等，可以即時獲取人手的動作姿態，感知手指關節的彎曲狀態，精確定位，產生力回饋，在虛擬實境環境中再現人手動作，已達到人機交互的目的。
資料手套
目前，虛擬實境資料手套主要有5DT、Cyber Glove、DGTech等公司生產，根據使用者的需求，提供不同配置、精確度的版本選擇，價格在幾千元到幾萬元間不等。
●全方位跑步機
全方位跑步機
以Virtuix Omni虛擬實境跑步機為例，其需要與Oculus Rift虛擬實境頭戴裝置或PC控制器來配合使用，無法獨立運行。在配備了專用的跑鞋、遊戲槍之後，就可以用第一人稱的視角來進行FPS射擊遊戲，可以模擬在遊戲中的場景，根據自己的自由意志進行自然的移動，真正的做到“跑起來”的感覺。Virtuix Omni專用的跑步鞋可以通過與跑步機地盤上的感測器同步資料，並且在佩戴Oculus Rift之類的虛擬實境設備之後，玩家轉頭、側身等動作都可以在遊戲中同步，帶來絕對身臨其境的感受。可以說整套系統最大程度的整合了視覺、聽覺、動作等因素，給人以極大的逼真感，徹底模糊了虛擬與現實的界限。
虛擬實境難以突破的瓶頸
3虛擬實境難以突破的瓶頸
●無法完全解決的眩暈感——你可能會嘔吐
目前，虛擬實境體驗上的最大問題就是眩暈感。體驗者在適應全新的感官環境時，可能會出現類似暈車的狀況。雖然一些研究人員表示在虛擬影像中添加一個鼻部圖像，可能會説明體驗者更好地適應，但目前尚未得到虛擬實境設備及軟體廠商的支援。雖然一些高端設備在不同程度上解決了眩暈感的問題，但因體驗者自身身體狀況、適應能力的影響，還是無法完全避免眩暈感的產生，體驗者連續佩戴的時間可能無法超過30分鐘。
無法完全解決的眩暈感
●“沉浸體驗”和“真實感”難兼得
沉浸體驗常被作為衡量虛擬實境好壞的一個重要指標，然而在當前的技術條件下，沉浸體驗卻成了另一個衡量指標——畫面“真實感”（即清晰度）的“天敵”。
想要畫面變得更真實，就需要高清晰度來支援，如果清晰度提高了，那麼畫面就會離人眼更遠，從而降低沉浸體驗；反之亦然。之所以會如此，主要是因為螢幕解析度的限制。我們可以理解為，離螢幕越近，顆粒感越強，而顆粒感，通過透鏡放大後進一步明顯，從而使得人眼獲取的實境比較模糊；如果解析度沒有高到一定程度，就無法解決這個難題。
沉浸體驗”和“真實感”難兼得
如果要達到沉浸體驗和清晰度的均衡，至少需要4K的解析度，但目前，市面上各家VR頭戴顯示器公司所生產的產品還未能到達這一解析度，都還在探索如何在“沉浸體驗感”和“清晰度”間找到更好的“平衡點”，以求得在相對好的沉浸體驗下，不降低清晰度。不過，這個矛盾僅僅是VR硬體上所面臨諸多問題中的一個。
●螢幕刷新率也是一個難以突破的瓶頸
120HZ的螢幕刷新率是保證VR畫面接近于現實的最低要求，當前手機螢幕的刷新率基本還停留在60HZ水準，PC顯示器可以滿足。同時，刷新率的提升，會對晶片的計算、功耗造成很大壓力， 這對設備的硬體提出了要求。
手忙腳亂的使用者
●你也許覺得自己很酷，但別人認為很蠢
也許你佩戴上虛擬實境顯示器會覺得自己很酷，但從旁觀者的角度來說，無疑會感覺你有些怪異和愚蠢。當你佩戴虛擬實境顯示器沉浸在虛擬世界裡時，你的眼睛被完全蒙上了，看不到現實周圍的情況，自言自語或是大笑大叫，顯然會讓周圍的人感到你很滑稽。 另外，對於一些本來就分不清幻想和現實的病人來說，虛擬實境可能會對他們造成更嚴重的精神問題，加重他們的病情，甚至在嚴重的情況下，還有可能會出現妄想症。
虛擬實境是一個造夢的行業
即便虛擬實境技術發展慢於預期、也存在一些需要解決的問題，它仍是最有潛力的趨勢化技術。螢幕解析度、刷新率，晶片計算能力、功耗以及元件上的瓶頸，直接限制了虛擬實境技術在手機端的發展。硬體和內容的雙重掣肘，讓虛擬實境很大程度上還只停留在“概念”層面。而資本市場的過度繁榮，雖然帶來了一些利好，但並未解決產業的實質問題。
虛擬實境技術的發展還不夠成熟
虛擬實境是一個造夢的行業，立體化的拓展了我們的感知空間，也許現在虛擬實境技術的未來還不能夠清晰的被勾勒出來，相關產品的普及也還需要很長一段時間。現在，虛擬實境頭戴顯示的畫面還不夠清晰，仍然可以看到圖元顆粒，你也無法去觸摸你看到的東西，但隨著時間的推移，這一切都會有所改觀。雖然目前虛擬實境技術的發展還不夠成熟，存在著許多爭議，但不可否認的是，虛擬實境技術將會成為一種重要的新媒介、新的平臺，無論是對於遊戲還是社交，亦或是其他更多領域。
你會發現虛擬實境的一切都值得去等待
相信無論虛擬實境技術如何發展，產業怎樣演進，還有很多的未知等著我們去發現，無論是創新的引領者、推廣者還是接受者，都應保持一顆開放、寬容的心來迎接更多的可能。相信，你會發現虛擬實境的一切都值得去等待。
歡迎大家評論
《 召 集 令 》
身懷學術絕技的你速速前來！
1，有學術水準：一定的專業學術水準是必須的！
2，有獨到思想：具深度，廣度，銳度者為最佳！
3，內容範疇：自然科學，社會科學等等不設限！
4，資訊或翻譯類文章：符合上述條件的均可以。
學術plus諮詢/投稿郵箱
xueshuplus@163.com
聲明：版權歸原作者所有。文章觀點不代表本機構立場。
《中國電子科學研究院學報》歡迎各位專家、學者賜稿！投稿連結 //kjpl.cbpt.cnki.net
學報電話：010-68893411
學報郵箱：dkyxuebao@vip.126.com