您的位置:首頁>科技>正文

沉默7年後,Magic Leap用魔幻現實主義式科技重新定義了自己

轉自 不懂光場的 機器之能

成立這麼多年, Magic Leap 截止昨天沒有對公眾拿出過一件現實可用的產品。 很多人認為這一切可能是一場資本遊戲。 畢竟, 這家沒有實際產品的公司已經達到 60 億美金的估值。

而現在, 在拿出這款產品後, 本篇文章作者 Brian Crecente 認為, Magic Leap 正以頭顯為載體, 將一系列殺手級技術融合到一起。 而這枚頭顯, 或許會在未來的某一天, 重新定義當今的科技。

撰文 | Brian Crecente

編輯 | 機器之能編輯部

12 月 20 日, Magic Leap 發佈了一款混合現實(MR, mixed-reality)頭顯設備, 引起了很大轟動。 Magic Leap 相信, 這款產品會重新定義電腦世界與現實世界的關係。

Magic leap 推出的新產品名為 Lightwear。

與那種像是戴在潛水夫頭上的、不透明的、面罩似的虛擬實境設備不同, Lightwear 的外型與護目鏡有些相似, 你的目光可以穿過 Lightwear, 就好像戴著一副比較特殊的眼鏡那樣。

護目鏡和一台袖珍但是功能強大的電腦(被稱為 Lightpack)相連接, 這台電腦可以將逼真的可交互的人物、機器人、太空飛船等任何事物呈現在佩戴者的眼前, 與現實世界相融合。

Magic Leap 成立於 2011 年, 自成立以來, Magic Leap 就是神秘的代名詞。

科技作者和分析師們驚訝於這家公司對資本的吸引力, 而且這些投資大多來自巨頭公司(迄今為止 Magic Leap 已經獲得了總計 19 億美元的投資)。 此外, 這家公司也一直吸引著世界上最聰明的人的目光。

儘管這家增強現實(AR, Augmented-Reality)初創公司已經以概念視頻的形式對外宣佈了他們所追求的目標(這些視頻描繪了虛擬生物與現實世界結合的場景),

但成立這麼多年, 它沒有對公眾拿出過一件現實可用的產品。

一些媒體及出版界在過去很長一段時間內曾公開表示過對此狀況的擔憂, 他們認為這一切可能是一場資本遊戲。 畢竟, 這家沒有實際產品的公司已經達到 60 億美金的估值。

創始人 Rony Abovitz 是公司的靈魂人物。

他是一名生物工程師, 在創立 Magic Leap 之前曾是醫療機械手臂公司 Mako Surgical 的聯合創始人。

2013 年, Mako Surgical 以 16.5 億美金的價格被美國第二大整形設備製造商史賽克公司收購, 這筆錢為 Magic Leap 提供了前四年的初始資金支持。

距 Magic Leap 上一次公開發言已過去近一年的時間, 當時它邀請了連線雜誌到其位於南佛羅里達州的總部對其技術進行實地考察, 但是連線雜誌發表的文章中並未涉及硬體相關資訊。

本月早些時候, Abovitz 邀請我去參觀他們在佛羅里達州勞德代爾堡的公司總部, 並撰寫相關的科技文章, 詳細介紹其第一代消費類頭戴式顯示器的工作方式、外型以及使用感受。

通過本文, 你能夠首次看清這個神秘的價值數十億美元的公司這些年來一直在做些什麼。

同時, 本文也是公司對其將在 2018 年發佈的首款消費類電子產品的一個預告。

文中我表明了一些觀點, 其中包括為什麼像谷歌和阿裡巴巴這樣的巨頭會對 Magic Leap 投入數億美元, 為什麼一些研究人員認為這款產品可能會和互聯網的誕生一樣重要。

南加州大學創新技術研究所 MxR 實驗室的創意負責人 David Nelson 表示, 「這項技術正在將我們推向一種人機交互的新方式, 這是現實的死亡。 」

魔幻世界

我與 Magic Leap 技術的首次接觸是在一個類似攝影棚的地方進行的。

這個類似攝影棚的地方位於一幢大樓內, 這幢大樓與周圍複雜的樓群呈隔離狀態。

這是公司為其技術體驗做實驗的地方, 在這裡進行實驗的技術有朝一日將被用在主題公園或者其他面積較大的場所中。

在這裡我體驗了一個耗時大約一小時的項目。

根據保密協定, 對於其中的所有 Demo, 我只能描述我的感受以及思考, 不能透露關於產品以及 IP 的任何細節。

事實上, 這幢大樓中發生的很多事情將永遠不會有被披露的一天。 由於有保密協議, 這幢大樓的建立就好像是只為了讓參觀者們親眼見證「奇跡」真的存在, 然後閉口不談。

第一個超大型的演示讓我進入了一個科幻世界。

這是一個完整的場景, 隱藏在周圍的強力風扇、巨大的揚聲器以及一系列由電腦控制的彩色照明系統對這個場景進行了全方位的體驗增強。

這是一次非常震撼的體驗,為主題公園建造沒有「圍牆」或者無需等待的遊樂設施提供了參考。

最重要的是,虛擬場景下所有的一切都發生在現實世界場地的佈景中。現實世界的道具淩亂地分佈在我周圍的地面和牆壁上,顯示效果雖然不能說與現實絲毫無差,但也很接近了。

看到這些被創造出來的東西像動畫貼紙一樣飄在我周圍的現實世界中,卻又不真實存在,說實話,我很震驚。

回到現實中,我又來到了這幢大樓中的一個面積很大的房間,這個房間被裝飾成一個生活空間的樣子,其中有沙發、桌子、小擺件以及地毯。

在演示區域,我嘗試了大約 6 個不同的示例。第一個示例是參觀 Gimble 無人機,它漂浮在我的眼睛和遠處牆壁之間的場地上。我走向它,繞著它來回轉,從不同的角度進行觀察。

它就那麼靜靜地懸浮在我的視野中,它周圍的世界仍然存在,但是我的目光不能穿過它。它就好像是,真的擁有品質和體積一樣,完全不像是一個漂浮著的圖像。

我很驚訝地發現,我離這個機器人越近,在一定程度上,它的細節就會變得越清晰。向這個漂浮的物體的靠近並沒有讓它本身的圖元格暴露,反而靠近之後能夠突出一些原本在遠處觀察不到的細節。

但是如果我靠的太近,Gimble 有時會突然消失,有時我會進入 Gimble 內部。後來我被告知這是一個還未經過仔細打磨的樣品。

我還注意到,我繞著它走的時候,無人機螺旋槳呼呼旋轉的聲音也會傳向我,不論我在哪,這種聲音都會傳遞到它應該到達的地方。

隨後,系統工程高級主管 Sam Miller 和高級技術市場經理 Shanna de luliis 向我介紹了將三塊電腦顯示器上的場景投射到我所處的世界中的過程。

它們看起來就是那種大的、特別平整的電視螢幕或是顯示器。神奇的是,雖然它們就一直呆在那裡,但我卻可以讓它們在任意空間顯示。

只要我願意連結更多的螢幕,我就能製造更多的虛擬場景。在本次示例中,我最多只能使用三塊螢幕,但這已經足夠了,因為我需要轉動頭部才能看清它們的全貌。而此時,無人機仍然在那邊靜靜地漂浮著。

在螢幕演示結束後,我又嘗試了一個小型示例。

這一示例中存在著一個漂浮著的,有四個面的電視,每一面都在進行電視直播。我可以在這個電視周圍走動,觀看不同的頻道,無論我是不是在觀看,電視的四個面都在持續播放節目。

突然,房間中一道牆突然亮起了白色的光線,顯示出門的輪廓。這時,門開了,一個女人走了進來。

她走向我,停在了幾英尺之外,站定,人物的細節處理令人印象深刻,不過我不會把她錯認為一個真正的人(人物散發出的光線、她的設計讓她與一個真正的人仍然有差距)。

她沒有和我說話或是對我所說的話作出反應,但是她確實有這種能力。Miller 手動控制著她,操控臉部展現一系列表情:微笑、生氣、厭惡。

我注意到,當我移動位置或是環顧四周的時候,她的眼睛始終追蹤隨我的目光。Lightwear 內置的攝像頭正在為她提供資料,讓她與我保持目光接觸。這讓人有些不安,我甚至會覺得不禮貌而打斷了這種眼神的接觸。

未來有一天,這個虛擬的人類將會是你蘋果手機上的 Siri、亞馬遜的 Alexa 或是 OK Google,她們不再是一個只有聲音而無形體的存在。她會和你一起行走、看著你、提供由人工智慧驅動的具象化的幫助。

在這幢大樓中展出的示例集合了各種奇奇怪怪的想法。其中還包括一副巨大的漫畫,你可以走過去,然後細細觀看,就像是透過窗戶看外面的風景一樣。

今年早些時候,我和 Madefire 公司的員工聊了聊,Madefire 公司致力於讓閱讀漫畫書這一過程更有趣。在佛羅里達州,我親眼體驗到了他們的成果,被深深地震撼了。

漫畫書頁面漂浮在咖啡桌上方,漂浮高度可以調節。當我靠近的時候,我可以圍著它轉圈,我可以看到平平的一層圖像漂浮在空中,我還可以從不同的角度欣賞這些作品,就像是在欣賞一副牆上的畫。

我的體驗場景被設定在一場風暴中,周圍的空氣充滿了落雨的感覺以及雷電的聲音,這些微小的配合有大大的能量,將我強有力地拉進了虛擬場景中。

在另一個範例中,Magic Leap 向我展示了一個被稱為「體積捕獲」(volumetric capture)的快速演示。這個團隊去了一些拍攝工作室,讓他們用特殊設備拍攝了一些演員的現場表演。

把這些演員錄入系統之後,他們基本上可以把這個現場演出帶到用戶所在的任何一個房間中。

雖然一些捕捉的細節會有些粗糙,例如鼻子和嘴唇之間的空間會過於圓潤,但是整體印象是能夠經得起近距離觀察的。觀眾還能繞著正在表演的演員走動,從不同的角度觀看演員。

我不能描述「體積捕獲」究竟展示的是什麼,但我可以說的是,人物的移動速度非常快,我必須目不轉睛地看。

即使我在表演中走來走去,他們的表演也沒有絲毫停頓或是減速。而且有人告訴我,這個現場演出可以放大或者縮到手掌大小。

光場

「我將這個行業稱為『秋後的螞蚱』,因為它並沒有真的死去,只是暫時的沉寂而已,」Abovitz 說道。

我們在他的辦公室觀看著顯示幕,螢幕上投放的是 19 世紀 30 年代的立體照相機。

這個立體照相機拍了兩張照片,兩張照片的內容是一樣的,只是拍攝的角度略微有些區別,在視覺上呈現一種距離感。如果你把設備拿到眼前,你會發現有一塊木頭擋在你的眼前,只能看到木頭前面的圖片,而看不到那兩張圖片。這有點類似於 3D 的效果。

不過,Abovitz 對這一技術的描述顯得過於平淡,對它的發展也是聽之任之。

「這一技術在圖像融合的過程中會產生衝突,導致眼睛無法正常運轉,」他說。「以一種不自然的方式觀看這兩張圖片,所呈現的 3D 圖像也是不自然的。」

後來的 3D 技術都來自於 1838 年的這項技術。

「這對我來說是有點痛苦的。」Abovitz 說,「從 19 世紀開始,這項技術就不斷再現。它被用在了電影院的紅藍眼鏡上,從六十年代,一直用到了本世紀。而當 VR 再現江湖時,卻發現它似乎是一樣的東西,就好像我們仍然在使用同一個主意。」

20 世紀初的古董立體鏡,也可以被稱為3D觀察器

19 世紀 30 年代的這項技術,利用了兩個平面圖像,而虛擬實境本質上也是使用兩個螢幕。Abovitz 認為必須找到一個更好的方法。

他對提升虛擬實境技術並不感興趣,相反,他希望尋求一種更好的方法來創建圖像,這種圖像要能夠被放置在現實世界裡人的視野之中。

簡言之,他對混合現實技術頗感興趣。

虛擬實境再現你看到的一切,而增強現實可以將圖像帶入你的世界,它在把圖像加到現實世界的同時,也能瞭解你和你所處的世界。

例如,混合現實世界中的馬會知道你的沙發在哪裡,而不會從牆穿過進入你的臥室。

當 Abovitz 開始展開研究,想在瓶頸中尋求突破時,他發現,混合現實與感知世界中有兩個他希望研究的事情。

第一個就是類比光場信號。光場本質上是世界上所有物體上反射回來的光。

當你拍照時,你會捕捉到一片很薄的光場。而眼睛則看到更多的光場,從而允許人類感知到深度、移動以及許多其他視覺上的細微之處。

另一個 Abovitz 想要弄明白的事情就是,光場信號是怎樣通過眼睛進入大腦的視覺皮層的。

「你對世界的看法實際上是建立在你的視覺皮層之上。」他說,「你的視覺皮層和大腦的一部分就像是一個透視引擎,你所看到外面的世界是由大約 100 兆個神經連接呈現的。」

目前的普遍看法是,大約有 40% 的神經功能被用於視覺處理。當你在做運動時,這個比例可以跳升到 70 到 80%。

「你基本上是在創造視覺世界。」他說,「你正在和視覺信號共同進行創造。它被稱為動態類比光場信號,這是宇宙中所有無處不在的光子波和粒子的光場的術語。它就像是一片巨大的海洋,到處都是,是一種無限的信號,包含了大量的資訊。」

創建人工光場涉及大量複雜的資訊,這很有難度,更不用說讓它移動的情況了。

2011 年,Abovitz 把這個問題拋給了他在加州理工學院研究理論物理的朋友。他們提出了這樣一種觀點,即人類的視覺系統就像一個篩檢程式。

事實上,眼睛並沒有真正看到任何東西,而是過濾出一大片較薄的光線,然後把它送到了視覺皮層。

「在這一點上,我們有點憑著自己的想法。」他談到這套理論時這樣說道,「我們偏離了方向。」

他們最終得出的結論是,在電腦中視覺皮層的功能非常類似於圖形處理器,用眼睛得到的資訊,給人構建一個感知世界,而且它只需要被提供非常稀疏的資料量就能做到這一點。

「也許從遺傳學角度來看,我們都有幾個世界的版本。我們所做的一切就是攝入稀疏變化的資料,然後更新模型,只不過我們的模型是永久的。」Abovitz 說,

「很多事情都是聯結在一起的,例如人類在生存意義上完成了進化、繁殖,建立庇護,而我們的視覺系統也是從眼球看到指尖,從指尖看到中場,再從中場看到遠場。這種結構讓距離很遠的老虎看起來就像一張扁平的卡片,在近處卻可以看到老虎實難以置信的細節和形態。」

這就意味著,如果大腦獲取了更多的資訊,那麼就會在需要時呈現出更多的細節。

這完全改變了 Abovitz 和他的團隊對光場問題的認知。這麼一來,如果理論是正確的,那麼技術不需要捕獲整個光場並重建;而是只需要抓住那片正確的光場,然後通過眼睛把它送到視覺皮層。

Abovitz 稱這個理論為「腦系統工程觀」。

他說:「我們的想法是,如果我們能夠找出這個信號,或者接近於這個信號,那麼把它編碼成晶片會是一件很酷的事情。」「我們可以製造一個小晶片,從前端發射數位光場信號。這是一個關鍵的想法。」

忽然間,Abovitz 的思路開始從「試著去解決問題」轉變為「設計一套解決方案」。他確信,如果他們能創造出一塊晶片,把一個光場的正確部分送入大腦,它就能矇騙過你的眼睛,讓你看到那裡有一些實際上並不存在的物體。

如果這個理論能夠實現,那麼就意味著他們正在逐漸擺脫顯示幕,只靠人類已有的感官完成這個任務。

這裡面存在兩個核心的「禪學思想」:無顯示便是最好的顯示;外在與內在是趨於一致的。

事實證明,至少從我們目前看到的情況來看,他們似乎被證明是完全正確的。你所能想到的外界的一切,都是可以在身體的內部世界中描繪出來,這是由你和類比光場信號共同創造的。

「每個人天生就具有創造力,因為每個人都在不斷創造屬於自己的虛擬世界。你所生活的世界,正在不斷地被你創造著,被所有人共同創造的…這是非常令人興奮的。」

因此,對於 Abovitz 來說,下一步便是做一些可以證明這個理論的東西。

你好,世界

Magic Leap 所描述的這一刻「你好,世界」,或許讓其他人不屑一顧,但對於一個已經為證明這套理論而奮鬥了 4 年的團隊來說,它是能夠帶來精神快感的。

這套理論關於一個單一的圖元。

「當時我們拿著操縱杆,在房間內移動。但是在虛擬世界中,我們只是一個個圖元。那是我們第一次體會到這項技術的魅力,可能其他人不會理解,但我們為之瘋狂。」Abovitz 說。

「這很像 1970 年的那款益智類遊戲《Pong》。嗯,可能不像《Pong》那麼複雜。我們只是把自己看作在屋內走來走去移動的小點,但那種感覺無與倫比:『哇,我們剛才做到了?』」

在 2014 年團隊取得突破之前,Abovitz 將那些早年的經歷稱之為「在沙漠中遊蕩」。2013 年,他們才開始研發公司的第一個工作原型機。

Abovitz 向我展示了一幅圖片,他們把這個巨型機稱為「長凳」。但我告訴他,這看起來有點像一個蒸汽朋克風格的斷頭臺,不過他糾正了我。

他說,這更像是「發條橙」(安東尼伯吉斯的小說與同名電影,小說作者的原意是,它標誌著把機械論道德觀應用到甘甜多汁的活的機體上去;這裡指的應該是電影中給主人公進行「厭惡療法」的醫療實驗器材)。

你把你的頭置於一個懸掛著的由電子零件與電線組成的巨型屏下方,被一個裝置完全鎖住。

你坐在那裡,一動不動,等著團隊使用信號發生器來欺騙你的大腦,讓你看到一些不存在的東西。

這個實驗與測試的進程非常緩慢,而且效果令人沮喪。Abovitz 說,他經常去製造了小鷹號航空母艦與製造土星 5 號運載火星的大樓尋找靈感。

在這一點上,應該適當提及這支創業團隊相對特殊的人員組成。美國宇航局、電腦科學家、物理學家、漫畫創作者,各行各業、形形色色的精英聚集在了一起。

當然,這支團隊的成員也在不斷發生變動,但很多好點子也在隨著人員的流動而不斷「反覆運算」。直到最後,正如 Abovitz 上面所說,我們終於得到了那個點。

這個點證明了他們的理論。「質變」之後,創新的速度就大大加快了。

不久,他們就把漫畫書裡的人物角色扔進了現實世界,討論了創造一種叫做「怪獸大戰」的遊戲的想法。這個概念能夠讓孩子們去一個真正的遊樂場,然後指揮著自己的巨型怪獸在他們的頭頂上互相打鬥。

這個時機來的剛剛好。Abovitz 知道,最終他將花光所有用於初創公司的資金,將不得不依賴於外部資金的補充。

幸運的是,圖元點與那兩個人物角色足以向穀歌和其它公司展示 Magic Leap 正朝著正確的方向前進。到 2014 年末,Magic Leap 成功籌得 5.4 億美元的風險投資。

利用這筆資金,他們搬離了這個只有一間房子的辦公室,開始致力於用這個技術研發首個可穿戴的設備,他們還為這個產品起了一個很親昵的名字——Cheesehead。

「這就好像,我們研發了一個光場信號發生器,將之與電腦相結合,然後就可以移動了,」Abovitz 說。「這個設備差不多有 10 磅重。也就是在這個時候,我們才覺得我們需要將運動與高端的電腦設備進行結合。」

Cheesehead 可以從信號中提取關鍵元素,集中到納米結構中,然後將之應用到一個晶片當中,創造出數字光場,説明人們觀察混合而成的新的現實世界。

這個造型奇特的巨大設備也可以説明公司的軟體團隊對正在運行的代碼進行測試。未來兩年,該團隊將繼續對軟硬體以及科學和設計進行反覆運算更新。

為了加速產品的研發和測試的週期,他們移到了勞德代爾堡(美國佛羅里達州東南沿海城市)郊外一個較大的地方,還在地下室建造了一個晶片製造間。

「從 2014 年 10 月到 2017 年 12 月,我們的取得了飛速發展。」他說。

魔力

在 Magic Leap 巨大複雜的地下建築中一間乾淨的房間,機器人手臂和穿著兔裝的人員進行著和諧的協作。

他們正在組裝光子晶片,正是這種晶片給公司最新的也可能是更好的設備進行賦能。

Abovitz 帶著我走在一條長長的水泥走廊上,隨意停在一扇窗戶前,他向我指了指窗子裡面正在進行的事情。

Magic Leap 負責硬體和工程項目的高級副總裁 Paul Greco 解釋說,整個地下不得不被完全掏空,重新按照他們所需要的格局進行建造。

Magic Leap 的人都無法向我講訴更多有關晶片的事情,很可能是因為他們在 Magic Leap 從事的是一項很有魔力的事情。Abovitz 將這種晶片稱為微小、半透明三角形的光子晶片。

不過,如果他不告訴我這些的話,我會簡單的將之稱為鏡片。

「我們並不是在用電晶體移動電子。我們移動的是光子,這是一個具有三維納米結構光線的光子信號。我們還沒有正式為它命名,因此,我就把它稱為 Sea Monkeys(海猴),不過這個名字我們不能用。我不想惹怒喜歡 Sea Monkey 的人。因此,我們正決定給這個結構取一個更酷的名字。」

他說,這個晶片在 3D 納米結構中移動光子,使其能夠輸出一種極為特別的數位光場信號。這種光子晶片最終會進入一種更大更圓的鏡片,然後被做成一副時髦的眼鏡。

在樓上一個封閉的空間裡,我第一次近距離接觸 Magic Leap 的全部硬體,這個房間像一個時裝展列室。公司設計高級副總裁 Gary Natsume 說,Magic Leap 所有的元件都根據同一種設計方式緊密地排列在一起。

Natsume 將一些銀灰色斑點稱為月球塵埃和標準原形。這個公司的第九代硬體是由三個元件構成——耳機、像 pod 一樣的由一根長電纜連線的電腦,以及一個稱為 Control 的控制器。

耳機看起來像一個纏了一根厚皮帶的眼鏡。眼鏡很輕,看起來很有現代感,時尚不時尚就不太好說了。不過比市面上所有的虛擬實境設備都更好是確定無疑的。

「鏡片的設計很有特點,」Natsume 說。「我們的願望就是,它能像眼鏡一樣,人們可以每天帶著它。」

眼鏡的鏡架採用的是「皇冠」式的設計,Natsume 說。「這樣的設計可以使得重量均勻分配。」

人們要雙手拿著這個「塑膠皇冠」的兩邊,然後將其分開,皇冠會將眼鏡的力分配到左右以及後部。然後就可以將眼鏡套在頭上了。

眼鏡架後面有兩根很短的線,大概四五英寸長,接到系統 Lightpack 時合成了一根。Lightpack 由兩個相互獨立的塑膠圓餅狀裝置通過一根線連接。

Natsume 說,這種設計是為了方便夾在口袋或者肩帶上,根據他的表述,這種帶 子很像吉他盒的那種背帶。

眼鏡的型號有兩種,前額、鼻子以及太陽穴的托架都可以進行定制,用戶使用起來也會更加舒適。在眼鏡發售的時候,公司也會為那些戴近視眼鏡的人提供佩戴說明書。

控制器是一個圓形的塑膠設備,大小放在手上正合適,帶有一排按鈕——六檔自由移動的感應器和一個觸控板。

Lightwear 與 Lightpack 的設計都看起來像玩具,並不是因為團隊感覺很廉價。相反並不是這樣,而是因為它們很輕很小。Abovitz 很快就指出了這一方小小空間到底裝了多少東西。

「這是一個獨立的電腦,」他說。「就像 MacBook Pro 或者 Alienware 電腦一樣。帶有強大的 CPU 和 GPU,還有驅動,WiFi,各種電子原件,就如同一個迷你電腦一樣。」

說著,他指了指 Lightwear 眼鏡,說道:

「這裡面有一個很強大的的計算系統,它能夠對世界即時感知、進行電腦視覺計算、並且具有機器學習功能,它正時刻觀察你所處的外部世界。可以說在這樣一個輕便的設備中,集結了航空水準的工程技術。」

這款頭顯能夠通過四個內置的麥克風感知使用者周圍的聲音,並且搭載了六個外部攝像頭,通過電腦視覺技術感知佩戴者所處的世界。這一切都是即時的。

設備在佩戴者太陽穴的位置內置了體積微小的高端身歷聲揚聲器,用來對佩戴者的某些行動作出反應,或者對佩戴者在現實世界中正在交流的人或物的行動作出反應。

「它不單單是一副內置了攝像頭的眼鏡,」他說,「更重要的是它的空間計算能力,它的設計中充滿了感知層面的東西。」

Abovitz 拒絕回答例如「該頭顯採用何種 CPU 或 GPU」等計算硬體相關的問題,甚至連電池的續航能力也表示無可奉告。

其中有一部分原因是他們仍在對電池進行優化,另一部分原因是他們需要保持神秘,等到發佈當日再具體揭開這些參數的面紗。

在我將要離開的時候,我注意到一張被白布包裹的長長的桌子。「白布下面是什麼?」我問。「下一款產品的原型。」Abovitz 說。

Sigur Ros 的音樂與 Weta 機器人

在此次探訪的最後一站,我來到了一個體驗間。

Miller 問我感覺如何,我說,眼鏡佩戴很舒服,以至於有時會忘記它的存在。計算裝置裝在我的口袋裡,很服帖。而且它和頭顯之間的傳輸線也不會影響到我的行動。控制器的反應很快,設備發出的聲音精准有力。

但我只有一個顧慮——視野(視場)。

和微軟的 HoloLens 一樣,Magic Leap 的 Lightwear 也沒有創造出非常貼合人眼習慣的視野(HoloLens 通過另一套完全不同的技術創造 MR 視野)。

Magic Leap 的顯示視野和眼鏡的邊框大致吻合,但由於畫面漂浮在三維空間內,我不能很好地測量它的視野大小。

因此我做出了一個非常聰明的舉動,我掏出了一張信用卡放在眼前,然後揮舞我的手掌,希望通過觀察手掌的出現與消失情況估計視野大小。

實驗的結果是,Lightwear 的視野域大致等同於半彎著手臂時手持的一盒家用老式錄影帶的大小。雖然同 HoloLens 相比,視野域已經大很多,但仍舊差強人意。

「我可以肯定的是,我們的下一代硬體技術將會在視野域方面大幅提高。」Miller 說,「你現在感受到的視野域就是這次發貨的初代產品的視野域了,但是下一代產品將會顯著改善。我們在實驗室中已經有研究人員在對下一代產品進行開發了。」

De Luliis 補充說,開發者已經提出了去掉視野邊框的解決方案,這樣佩戴者就不會對圖像的邊界有那麼強烈的感受。「然後你的大腦會自動幫你補全缺失的圖像。」他說。

Miller 想給我看另一個巧妙的設計。他走到大房間盡頭,並讓我啟動 Gimble。

無人機乖乖地出現在遠處,漂浮在 Miller 旁邊。然後 Miller 和機器人走到了同一個地方,很快就消失了。好吧,我仍能看到他的腿從無人機的底部伸出來。

我的第一反應是「這種事情也在所難免」,但後來我意識到,我看到的是由 Magic Leap 技術創造出來的一個虛構物,且完全被它糊弄住了。我親眼看到兩個物體出現同一個地方,且認為那個虛構物而非工程師才是真實的,就這樣把 Miller 忽略了,至少 Abovitz 後來是這樣向我解釋的。

最後,我去了一個單獨的房間,得以對一種特別的體驗一探究竟。

冰島實驗搖滾樂隊 Sigur Ros 與 Magic Leap 的一些工作人員合作,試圖創造一種體驗,他們喜歡稱之為聲景觀(soundscape)。在觀看這個特別的演示時,我被要求戴上耳塞和護目鏡。

「你將看到的是一個叫作 Tonandi 的項目,」項目技術負責人 Mike Tucker 告訴我,「你將看到的不是一種錄製曲目,而是一種互動式的聲景觀(soundscape)。他們喜歡這麼描述它。」

Tonandi 首先在你周圍創建了一圈飄起來的樹,然後等著看你的反應。

樹環浮在我的周圍,像一些小精靈在空中跳舞。當我向他們揮手時,他們發出了一種嗡嗡聲,並在我周圍漸隱漸移。隨著時間的推移,各種各樣的創造物出現了,我觸摸他們,向他們招手,輕拍他們,等待著看這些動作會產生什麼樣的音樂。

很快,地上冒出了豆莢的長莖,地毯和咖啡桌上長出了草。我注意到豆莢像花蕾一樣綻開,我的周圍漂浮著黃貂魚形狀的五彩燈。

我的動作不僅能改變周遭這個小世界,它還可以讓你對聽到的音樂進行創作,將我的動作與 Sigur Ros 發出的聲音結合起來。

體驗 Tonandi 的創作很輕鬆。那種超現實並注入了魔幻現實主義的音樂創作,任何人都可以去嘗試。但是幕後工作卻很費力、Tucker 說,Magic Leap 在這個項目中內置了大量的技術。

「我們在 Magic Leap 中添加了很多特殊性能,」他說,「我們使用了房間網格劃分和眼球跟蹤,我們利用輸入系統來分析你的手勢,從而創造出你的大部分體驗。」

後來,在會議室裡吃午飯的時候,Abovitz 說了團隊曾經做過的一次恐怖實驗。「太可怕了,」他說,「人們再也不會進那個房間了。它非常非常可怕,就像死亡威脅一樣,所以我們就決定,好吧,讓我們暫且把它放到一邊。』」

還有很多想像空間,但我沒有體驗到。

我曾設想過的一個場景是基於維塔工作室(Weta Workshop)的作品。電影《魔戒》《銀翼殺手 2049》和《雷神:仙境傳說》的特效與道具就是由該工作室負責的。但是這個想法沒有機會得到測試。

該工作室正在開發的一款遊戲,最初是由維塔新成立的 Weta Gameshop 部門所創建,內容圍繞 Grordbort 博士的奇妙宇宙,由維塔的概念設計師 Greg Broadmore 創作,權屬於維塔工作室的兩位創始人 Richard Taylor 和 Tania Rodger。

Taylor 告訴 Glixel,目前新部門由 Broadmore 負責,其中有大約 55 人致力於該款遊戲的開發工作。

「我們已經在這款遊戲上研究了五年時間,」Taylor 說道,「我們一直在開發這款遊戲,這些工作直接關係到 Magic Leap 的軟硬體開發。」

這是一款第一視角射擊遊戲,背景設定為 Grordbort 博士的惡搞世界。Taylor 認為這款遊戲將在明年硬體推出後得以問世。

在這款遊戲的虛構世界中,某個機器人星球找到了一種製造地球入口的方法,並開始入侵地球。玩家必須使用系統的控制器(操作起來就像一把射線槍)來阻止他們通過這些入口並行駛破壞行為。

「當你進入角色時,地球入口會出現在你的休息室或臥室牆壁上,你可以看到機器人星球的樣子,」Taylor 說,

「Gimble(其中一個演示中出現過的那個機器人)會帶給你一個平靜的開場,然後 Grordbot 博士會和你進行一段談話,接著冒險就開始了。這是最瘋狂的現實體驗。」

死磕現實

價值數十億美元的 Magic Leap 技術有時看起來似乎沒什麼難度係數,因此人們很容易低估它的技術含量。而在某些方面,這是該技術的關鍵創新點之一——它可以讓你感覺不到它的存在。

Abovitz 及其在 Magic Leap 的團隊希望解決的其中一個基本問題是,人們在佩戴虛擬實境耳機和長時間面對螢幕時會產生普遍的不適感。

「所以我們的最終目標是將空間計算建造為一種大眾化的、隨時隨地可得的東西,」Abovtiz 告訴我,

「這個目標野心很大,要花很多時間才能實現。但你總會需要一些輕鬆舒適的東西。它必須適合你,就像你的襪子和鞋子。它必須非常適合於你的臉和身體。而我認為其中最基本的就是,這些信號必須與你緊密相容。」

他說,他們需要找到一種重現光場的方法,使最終的觀看體驗與你周圍的景色一樣自然舒適。他說,這是 Magic Leap 的工作基石。「你再也不想去思考它了。」你只需知道我們已經照管好了一切,而我們認為這是重要的第一步。

而該技術的基礎可能已經被解決。但當我提出視野的有限性時,Abovitz 承認,這種體驗的傳遞過程還不夠完善。他說公司仍在微調體驗過程。

「我們將視野稱之為可行的以及利於 ML1 的,」他說的是即將推出的第一款消費級耳機,「無論是在 Magic Leap 2 還是 Magic Leap 3 等,這是我們將繼續進行反覆運算的特性之一。而這就好比,你打磨出了一種產品規格和視野體驗……在這方面我已完成我想要的了。」

Abovitz 並沒有真正回答我的問題,他沒有指出關於這項技術的另一個主要痛點,那就是對視覺焦點問題的處理。

理論上來說,AR 光場隔在人眼與現實世界之間,人眼需要能夠透過 AR 光場看到現實世界。但在這樣的機制下,若人眼關注現實世界,則 AR 影像將會失焦。

我翻閱了一些文檔,發現這些 AR 眼鏡都沒有提及到如何有效處理這個問題。所以我希望從 Abovitz 那裡得到答案,這項技術到底能否解決多焦平面問題(一種光學術語)。

在 Abovitz 過後補給我的一封郵件中,他這樣寫道:

「Magic Leap 的 Lightwear 採用的是我們特有的 Digital Lightfield 專利技術,是我們類比光場信號的數位信號版本。採用這項技術,開發者能夠創造出視覺體驗良好的應用程式,程式中的人物和物體會出現在合適的空間範圍內,不會對人眼造成困擾。」

當我想要追問更確切的答案時,Abovitz 以涉密為由拒絕了。

以 Abovitz 的視角看來,作為首款產品,這款 AR 眼鏡首先能夠正常使用,其次能夠印證它的名字——Magic Leap One: Creator Edition(創造者版本)。

對於 Magic Leap 來說,Creator 是開發者、品牌方、代理商,以及一小部分早期消費者。

對於發售日期及價格,Abovitz 也不肯給我明確的資訊。

但是他表示,第一款產品將會毫無疑問地在 2018 年發售。至於售價,「我們內部已經有了一個定價,但是暫時還不方便透露。」他說,

「定價會在預定開始時對外宣佈。我想說我們的產品不僅僅是一個高級的計算系統,也不僅僅是一個高端且具有工藝美感的電子設備。」

除了沒有得到一些關鍵問題的答案之外,在 Magic Leap 公司到處遊蕩的這一整天讓我意識到,這家公司真正想要達成的成就是什麼:

絕不僅僅是頭顯設備,也絕不僅僅是頭顯設備背後的光場技術。Magic Leap 正以頭顯為載體,將一系列殺手級技術融合到一起。而這枚頭顯,或許會在未來的某一天,重新定義當今的科技。

光場可以在人們所處的自然光世界中排列出一個虛擬實境畫面,這也是呈現出來的最明顯的創新之處。不過,驚喜並不止步於此。

視覺感知系統正在不斷跟蹤你所路過的世界,會注意到所有種細節,包括各種平面、牆壁以及物體。

結果就是,這款頭戴式設備能夠看到你做了什麼,然後會讓自己創造的物體適當地行動。這樣一來,無論你旁邊是否掛著一個混合現實監視器,都能確保你客廳中漂浮的魚不會穿過沙發。

這個房間地圖也會記錄你的世界中所放置的各種東西,所以當你回來的時候,這些物體會在原處等你。如果你在桌子上面擺上六個監視器,然後去睡覺,那麼第二天他們還會處在你放下他們的地方。

儘管我們不知道 Lightpack 內置微型電腦的規格,但我們知道,它被設計用在一個可見、可感的世界中運行遊戲。

而控制器是一種能直接與系統進行交互的方式,當然你也可以使用 Magic Leap 自帶的姿態追蹤,它不僅包括手和手指的追蹤,還包括頭部位置、聲音、眼球追蹤甚至更多。

最後,這項黑科技不僅使用光場技術,也用到了聲場技術。感知身歷聲系統可以跟蹤你的移動和反應,以確保無論你站在哪裡,回聲始終來自於物。它還可以傳達距離和強度資訊。

這些軟體和硬體僅是構建 Magic Leap One 及其 Lightwear、Lightpack、Control 三部分的基礎。

明年初,MagicLeap 計畫開放一個創作者門戶,為他們提供其軟體開發套件的訪問入口。那樣,就不只有 Magic Leap 和其合作夥伴 Weta、Sigur Ros、 ILMxLAB 以及 Twilio 打造這項新的體驗,而將成為任何人都能探索的領域。

事情結束後,團隊送我去 Abovitz 的辦公室告別。他堅持親自送我到門口,並在通往出口的路上停下了腳步。

附近樓梯間的牆上掛著一副畫,那是畫家 Salvador Dali 的作品,題為「用帶有全息圖和電腦的眼鏡去看想像的物體」。

Abovitz 認為,這幅作品就代表了 Magic Leap 在重建光場方面的工作。他的手指依次點過畫裡類似數學公式的塗鴉,眼鏡、視野以及看起來像是視覺皮層的位置。

這就是 Dali 版的 Magic Leap,用魔幻現實主義繪畫手法創作

在這幅圖裡,我看到的是外部圖像被吸收,同時也被視覺皮層和大腦處理。

而 Abovitz 的看法則相反:這幅畫顯示了電腦生成的圖像被注入大腦,然後投影到了用戶的世界。

這是一次非常震撼的體驗,為主題公園建造沒有「圍牆」或者無需等待的遊樂設施提供了參考。

最重要的是,虛擬場景下所有的一切都發生在現實世界場地的佈景中。現實世界的道具淩亂地分佈在我周圍的地面和牆壁上,顯示效果雖然不能說與現實絲毫無差,但也很接近了。

看到這些被創造出來的東西像動畫貼紙一樣飄在我周圍的現實世界中,卻又不真實存在,說實話,我很震驚。

回到現實中,我又來到了這幢大樓中的一個面積很大的房間,這個房間被裝飾成一個生活空間的樣子,其中有沙發、桌子、小擺件以及地毯。

在演示區域,我嘗試了大約 6 個不同的示例。第一個示例是參觀 Gimble 無人機,它漂浮在我的眼睛和遠處牆壁之間的場地上。我走向它,繞著它來回轉,從不同的角度進行觀察。

它就那麼靜靜地懸浮在我的視野中,它周圍的世界仍然存在,但是我的目光不能穿過它。它就好像是,真的擁有品質和體積一樣,完全不像是一個漂浮著的圖像。

我很驚訝地發現,我離這個機器人越近,在一定程度上,它的細節就會變得越清晰。向這個漂浮的物體的靠近並沒有讓它本身的圖元格暴露,反而靠近之後能夠突出一些原本在遠處觀察不到的細節。

但是如果我靠的太近,Gimble 有時會突然消失,有時我會進入 Gimble 內部。後來我被告知這是一個還未經過仔細打磨的樣品。

我還注意到,我繞著它走的時候,無人機螺旋槳呼呼旋轉的聲音也會傳向我,不論我在哪,這種聲音都會傳遞到它應該到達的地方。

隨後,系統工程高級主管 Sam Miller 和高級技術市場經理 Shanna de luliis 向我介紹了將三塊電腦顯示器上的場景投射到我所處的世界中的過程。

它們看起來就是那種大的、特別平整的電視螢幕或是顯示器。神奇的是,雖然它們就一直呆在那裡,但我卻可以讓它們在任意空間顯示。

只要我願意連結更多的螢幕,我就能製造更多的虛擬場景。在本次示例中,我最多只能使用三塊螢幕,但這已經足夠了,因為我需要轉動頭部才能看清它們的全貌。而此時,無人機仍然在那邊靜靜地漂浮著。

在螢幕演示結束後,我又嘗試了一個小型示例。

這一示例中存在著一個漂浮著的,有四個面的電視,每一面都在進行電視直播。我可以在這個電視周圍走動,觀看不同的頻道,無論我是不是在觀看,電視的四個面都在持續播放節目。

突然,房間中一道牆突然亮起了白色的光線,顯示出門的輪廓。這時,門開了,一個女人走了進來。

她走向我,停在了幾英尺之外,站定,人物的細節處理令人印象深刻,不過我不會把她錯認為一個真正的人(人物散發出的光線、她的設計讓她與一個真正的人仍然有差距)。

她沒有和我說話或是對我所說的話作出反應,但是她確實有這種能力。Miller 手動控制著她,操控臉部展現一系列表情:微笑、生氣、厭惡。

我注意到,當我移動位置或是環顧四周的時候,她的眼睛始終追蹤隨我的目光。Lightwear 內置的攝像頭正在為她提供資料,讓她與我保持目光接觸。這讓人有些不安,我甚至會覺得不禮貌而打斷了這種眼神的接觸。

未來有一天,這個虛擬的人類將會是你蘋果手機上的 Siri、亞馬遜的 Alexa 或是 OK Google,她們不再是一個只有聲音而無形體的存在。她會和你一起行走、看著你、提供由人工智慧驅動的具象化的幫助。

在這幢大樓中展出的示例集合了各種奇奇怪怪的想法。其中還包括一副巨大的漫畫,你可以走過去,然後細細觀看,就像是透過窗戶看外面的風景一樣。

今年早些時候,我和 Madefire 公司的員工聊了聊,Madefire 公司致力於讓閱讀漫畫書這一過程更有趣。在佛羅里達州,我親眼體驗到了他們的成果,被深深地震撼了。

漫畫書頁面漂浮在咖啡桌上方,漂浮高度可以調節。當我靠近的時候,我可以圍著它轉圈,我可以看到平平的一層圖像漂浮在空中,我還可以從不同的角度欣賞這些作品,就像是在欣賞一副牆上的畫。

我的體驗場景被設定在一場風暴中,周圍的空氣充滿了落雨的感覺以及雷電的聲音,這些微小的配合有大大的能量,將我強有力地拉進了虛擬場景中。

在另一個範例中,Magic Leap 向我展示了一個被稱為「體積捕獲」(volumetric capture)的快速演示。這個團隊去了一些拍攝工作室,讓他們用特殊設備拍攝了一些演員的現場表演。

把這些演員錄入系統之後,他們基本上可以把這個現場演出帶到用戶所在的任何一個房間中。

雖然一些捕捉的細節會有些粗糙,例如鼻子和嘴唇之間的空間會過於圓潤,但是整體印象是能夠經得起近距離觀察的。觀眾還能繞著正在表演的演員走動,從不同的角度觀看演員。

我不能描述「體積捕獲」究竟展示的是什麼,但我可以說的是,人物的移動速度非常快,我必須目不轉睛地看。

即使我在表演中走來走去,他們的表演也沒有絲毫停頓或是減速。而且有人告訴我,這個現場演出可以放大或者縮到手掌大小。

光場

「我將這個行業稱為『秋後的螞蚱』,因為它並沒有真的死去,只是暫時的沉寂而已,」Abovitz 說道。

我們在他的辦公室觀看著顯示幕,螢幕上投放的是 19 世紀 30 年代的立體照相機。

這個立體照相機拍了兩張照片,兩張照片的內容是一樣的,只是拍攝的角度略微有些區別,在視覺上呈現一種距離感。如果你把設備拿到眼前,你會發現有一塊木頭擋在你的眼前,只能看到木頭前面的圖片,而看不到那兩張圖片。這有點類似於 3D 的效果。

不過,Abovitz 對這一技術的描述顯得過於平淡,對它的發展也是聽之任之。

「這一技術在圖像融合的過程中會產生衝突,導致眼睛無法正常運轉,」他說。「以一種不自然的方式觀看這兩張圖片,所呈現的 3D 圖像也是不自然的。」

後來的 3D 技術都來自於 1838 年的這項技術。

「這對我來說是有點痛苦的。」Abovitz 說,「從 19 世紀開始,這項技術就不斷再現。它被用在了電影院的紅藍眼鏡上,從六十年代,一直用到了本世紀。而當 VR 再現江湖時,卻發現它似乎是一樣的東西,就好像我們仍然在使用同一個主意。」

20 世紀初的古董立體鏡,也可以被稱為3D觀察器

19 世紀 30 年代的這項技術,利用了兩個平面圖像,而虛擬實境本質上也是使用兩個螢幕。Abovitz 認為必須找到一個更好的方法。

他對提升虛擬實境技術並不感興趣,相反,他希望尋求一種更好的方法來創建圖像,這種圖像要能夠被放置在現實世界裡人的視野之中。

簡言之,他對混合現實技術頗感興趣。

虛擬實境再現你看到的一切,而增強現實可以將圖像帶入你的世界,它在把圖像加到現實世界的同時,也能瞭解你和你所處的世界。

例如,混合現實世界中的馬會知道你的沙發在哪裡,而不會從牆穿過進入你的臥室。

當 Abovitz 開始展開研究,想在瓶頸中尋求突破時,他發現,混合現實與感知世界中有兩個他希望研究的事情。

第一個就是類比光場信號。光場本質上是世界上所有物體上反射回來的光。

當你拍照時,你會捕捉到一片很薄的光場。而眼睛則看到更多的光場,從而允許人類感知到深度、移動以及許多其他視覺上的細微之處。

另一個 Abovitz 想要弄明白的事情就是,光場信號是怎樣通過眼睛進入大腦的視覺皮層的。

「你對世界的看法實際上是建立在你的視覺皮層之上。」他說,「你的視覺皮層和大腦的一部分就像是一個透視引擎,你所看到外面的世界是由大約 100 兆個神經連接呈現的。」

目前的普遍看法是,大約有 40% 的神經功能被用於視覺處理。當你在做運動時,這個比例可以跳升到 70 到 80%。

「你基本上是在創造視覺世界。」他說,「你正在和視覺信號共同進行創造。它被稱為動態類比光場信號,這是宇宙中所有無處不在的光子波和粒子的光場的術語。它就像是一片巨大的海洋,到處都是,是一種無限的信號,包含了大量的資訊。」

創建人工光場涉及大量複雜的資訊,這很有難度,更不用說讓它移動的情況了。

2011 年,Abovitz 把這個問題拋給了他在加州理工學院研究理論物理的朋友。他們提出了這樣一種觀點,即人類的視覺系統就像一個篩檢程式。

事實上,眼睛並沒有真正看到任何東西,而是過濾出一大片較薄的光線,然後把它送到了視覺皮層。

「在這一點上,我們有點憑著自己的想法。」他談到這套理論時這樣說道,「我們偏離了方向。」

他們最終得出的結論是,在電腦中視覺皮層的功能非常類似於圖形處理器,用眼睛得到的資訊,給人構建一個感知世界,而且它只需要被提供非常稀疏的資料量就能做到這一點。

「也許從遺傳學角度來看,我們都有幾個世界的版本。我們所做的一切就是攝入稀疏變化的資料,然後更新模型,只不過我們的模型是永久的。」Abovitz 說,

「很多事情都是聯結在一起的,例如人類在生存意義上完成了進化、繁殖,建立庇護,而我們的視覺系統也是從眼球看到指尖,從指尖看到中場,再從中場看到遠場。這種結構讓距離很遠的老虎看起來就像一張扁平的卡片,在近處卻可以看到老虎實難以置信的細節和形態。」

這就意味著,如果大腦獲取了更多的資訊,那麼就會在需要時呈現出更多的細節。

這完全改變了 Abovitz 和他的團隊對光場問題的認知。這麼一來,如果理論是正確的,那麼技術不需要捕獲整個光場並重建;而是只需要抓住那片正確的光場,然後通過眼睛把它送到視覺皮層。

Abovitz 稱這個理論為「腦系統工程觀」。

他說:「我們的想法是,如果我們能夠找出這個信號,或者接近於這個信號,那麼把它編碼成晶片會是一件很酷的事情。」「我們可以製造一個小晶片,從前端發射數位光場信號。這是一個關鍵的想法。」

忽然間,Abovitz 的思路開始從「試著去解決問題」轉變為「設計一套解決方案」。他確信,如果他們能創造出一塊晶片,把一個光場的正確部分送入大腦,它就能矇騙過你的眼睛,讓你看到那裡有一些實際上並不存在的物體。

如果這個理論能夠實現,那麼就意味著他們正在逐漸擺脫顯示幕,只靠人類已有的感官完成這個任務。

這裡面存在兩個核心的「禪學思想」:無顯示便是最好的顯示;外在與內在是趨於一致的。

事實證明,至少從我們目前看到的情況來看,他們似乎被證明是完全正確的。你所能想到的外界的一切,都是可以在身體的內部世界中描繪出來,這是由你和類比光場信號共同創造的。

「每個人天生就具有創造力,因為每個人都在不斷創造屬於自己的虛擬世界。你所生活的世界,正在不斷地被你創造著,被所有人共同創造的…這是非常令人興奮的。」

因此,對於 Abovitz 來說,下一步便是做一些可以證明這個理論的東西。

你好,世界

Magic Leap 所描述的這一刻「你好,世界」,或許讓其他人不屑一顧,但對於一個已經為證明這套理論而奮鬥了 4 年的團隊來說,它是能夠帶來精神快感的。

這套理論關於一個單一的圖元。

「當時我們拿著操縱杆,在房間內移動。但是在虛擬世界中,我們只是一個個圖元。那是我們第一次體會到這項技術的魅力,可能其他人不會理解,但我們為之瘋狂。」Abovitz 說。

「這很像 1970 年的那款益智類遊戲《Pong》。嗯,可能不像《Pong》那麼複雜。我們只是把自己看作在屋內走來走去移動的小點,但那種感覺無與倫比:『哇,我們剛才做到了?』」

在 2014 年團隊取得突破之前,Abovitz 將那些早年的經歷稱之為「在沙漠中遊蕩」。2013 年,他們才開始研發公司的第一個工作原型機。

Abovitz 向我展示了一幅圖片,他們把這個巨型機稱為「長凳」。但我告訴他,這看起來有點像一個蒸汽朋克風格的斷頭臺,不過他糾正了我。

他說,這更像是「發條橙」(安東尼伯吉斯的小說與同名電影,小說作者的原意是,它標誌著把機械論道德觀應用到甘甜多汁的活的機體上去;這裡指的應該是電影中給主人公進行「厭惡療法」的醫療實驗器材)。

你把你的頭置於一個懸掛著的由電子零件與電線組成的巨型屏下方,被一個裝置完全鎖住。

你坐在那裡,一動不動,等著團隊使用信號發生器來欺騙你的大腦,讓你看到一些不存在的東西。

這個實驗與測試的進程非常緩慢,而且效果令人沮喪。Abovitz 說,他經常去製造了小鷹號航空母艦與製造土星 5 號運載火星的大樓尋找靈感。

在這一點上,應該適當提及這支創業團隊相對特殊的人員組成。美國宇航局、電腦科學家、物理學家、漫畫創作者,各行各業、形形色色的精英聚集在了一起。

當然,這支團隊的成員也在不斷發生變動,但很多好點子也在隨著人員的流動而不斷「反覆運算」。直到最後,正如 Abovitz 上面所說,我們終於得到了那個點。

這個點證明了他們的理論。「質變」之後,創新的速度就大大加快了。

不久,他們就把漫畫書裡的人物角色扔進了現實世界,討論了創造一種叫做「怪獸大戰」的遊戲的想法。這個概念能夠讓孩子們去一個真正的遊樂場,然後指揮著自己的巨型怪獸在他們的頭頂上互相打鬥。

這個時機來的剛剛好。Abovitz 知道,最終他將花光所有用於初創公司的資金,將不得不依賴於外部資金的補充。

幸運的是,圖元點與那兩個人物角色足以向穀歌和其它公司展示 Magic Leap 正朝著正確的方向前進。到 2014 年末,Magic Leap 成功籌得 5.4 億美元的風險投資。

利用這筆資金,他們搬離了這個只有一間房子的辦公室,開始致力於用這個技術研發首個可穿戴的設備,他們還為這個產品起了一個很親昵的名字——Cheesehead。

「這就好像,我們研發了一個光場信號發生器,將之與電腦相結合,然後就可以移動了,」Abovitz 說。「這個設備差不多有 10 磅重。也就是在這個時候,我們才覺得我們需要將運動與高端的電腦設備進行結合。」

Cheesehead 可以從信號中提取關鍵元素,集中到納米結構中,然後將之應用到一個晶片當中,創造出數字光場,説明人們觀察混合而成的新的現實世界。

這個造型奇特的巨大設備也可以説明公司的軟體團隊對正在運行的代碼進行測試。未來兩年,該團隊將繼續對軟硬體以及科學和設計進行反覆運算更新。

為了加速產品的研發和測試的週期,他們移到了勞德代爾堡(美國佛羅里達州東南沿海城市)郊外一個較大的地方,還在地下室建造了一個晶片製造間。

「從 2014 年 10 月到 2017 年 12 月,我們的取得了飛速發展。」他說。

魔力

在 Magic Leap 巨大複雜的地下建築中一間乾淨的房間,機器人手臂和穿著兔裝的人員進行著和諧的協作。

他們正在組裝光子晶片,正是這種晶片給公司最新的也可能是更好的設備進行賦能。

Abovitz 帶著我走在一條長長的水泥走廊上,隨意停在一扇窗戶前,他向我指了指窗子裡面正在進行的事情。

Magic Leap 負責硬體和工程項目的高級副總裁 Paul Greco 解釋說,整個地下不得不被完全掏空,重新按照他們所需要的格局進行建造。

Magic Leap 的人都無法向我講訴更多有關晶片的事情,很可能是因為他們在 Magic Leap 從事的是一項很有魔力的事情。Abovitz 將這種晶片稱為微小、半透明三角形的光子晶片。

不過,如果他不告訴我這些的話,我會簡單的將之稱為鏡片。

「我們並不是在用電晶體移動電子。我們移動的是光子,這是一個具有三維納米結構光線的光子信號。我們還沒有正式為它命名,因此,我就把它稱為 Sea Monkeys(海猴),不過這個名字我們不能用。我不想惹怒喜歡 Sea Monkey 的人。因此,我們正決定給這個結構取一個更酷的名字。」

他說,這個晶片在 3D 納米結構中移動光子,使其能夠輸出一種極為特別的數位光場信號。這種光子晶片最終會進入一種更大更圓的鏡片,然後被做成一副時髦的眼鏡。

在樓上一個封閉的空間裡,我第一次近距離接觸 Magic Leap 的全部硬體,這個房間像一個時裝展列室。公司設計高級副總裁 Gary Natsume 說,Magic Leap 所有的元件都根據同一種設計方式緊密地排列在一起。

Natsume 將一些銀灰色斑點稱為月球塵埃和標準原形。這個公司的第九代硬體是由三個元件構成——耳機、像 pod 一樣的由一根長電纜連線的電腦,以及一個稱為 Control 的控制器。

耳機看起來像一個纏了一根厚皮帶的眼鏡。眼鏡很輕,看起來很有現代感,時尚不時尚就不太好說了。不過比市面上所有的虛擬實境設備都更好是確定無疑的。

「鏡片的設計很有特點,」Natsume 說。「我們的願望就是,它能像眼鏡一樣,人們可以每天帶著它。」

眼鏡的鏡架採用的是「皇冠」式的設計,Natsume 說。「這樣的設計可以使得重量均勻分配。」

人們要雙手拿著這個「塑膠皇冠」的兩邊,然後將其分開,皇冠會將眼鏡的力分配到左右以及後部。然後就可以將眼鏡套在頭上了。

眼鏡架後面有兩根很短的線,大概四五英寸長,接到系統 Lightpack 時合成了一根。Lightpack 由兩個相互獨立的塑膠圓餅狀裝置通過一根線連接。

Natsume 說,這種設計是為了方便夾在口袋或者肩帶上,根據他的表述,這種帶 子很像吉他盒的那種背帶。

眼鏡的型號有兩種,前額、鼻子以及太陽穴的托架都可以進行定制,用戶使用起來也會更加舒適。在眼鏡發售的時候,公司也會為那些戴近視眼鏡的人提供佩戴說明書。

控制器是一個圓形的塑膠設備,大小放在手上正合適,帶有一排按鈕——六檔自由移動的感應器和一個觸控板。

Lightwear 與 Lightpack 的設計都看起來像玩具,並不是因為團隊感覺很廉價。相反並不是這樣,而是因為它們很輕很小。Abovitz 很快就指出了這一方小小空間到底裝了多少東西。

「這是一個獨立的電腦,」他說。「就像 MacBook Pro 或者 Alienware 電腦一樣。帶有強大的 CPU 和 GPU,還有驅動,WiFi,各種電子原件,就如同一個迷你電腦一樣。」

說著,他指了指 Lightwear 眼鏡,說道:

「這裡面有一個很強大的的計算系統,它能夠對世界即時感知、進行電腦視覺計算、並且具有機器學習功能,它正時刻觀察你所處的外部世界。可以說在這樣一個輕便的設備中,集結了航空水準的工程技術。」

這款頭顯能夠通過四個內置的麥克風感知使用者周圍的聲音,並且搭載了六個外部攝像頭,通過電腦視覺技術感知佩戴者所處的世界。這一切都是即時的。

設備在佩戴者太陽穴的位置內置了體積微小的高端身歷聲揚聲器,用來對佩戴者的某些行動作出反應,或者對佩戴者在現實世界中正在交流的人或物的行動作出反應。

「它不單單是一副內置了攝像頭的眼鏡,」他說,「更重要的是它的空間計算能力,它的設計中充滿了感知層面的東西。」

Abovitz 拒絕回答例如「該頭顯採用何種 CPU 或 GPU」等計算硬體相關的問題,甚至連電池的續航能力也表示無可奉告。

其中有一部分原因是他們仍在對電池進行優化,另一部分原因是他們需要保持神秘,等到發佈當日再具體揭開這些參數的面紗。

在我將要離開的時候,我注意到一張被白布包裹的長長的桌子。「白布下面是什麼?」我問。「下一款產品的原型。」Abovitz 說。

Sigur Ros 的音樂與 Weta 機器人

在此次探訪的最後一站,我來到了一個體驗間。

Miller 問我感覺如何,我說,眼鏡佩戴很舒服,以至於有時會忘記它的存在。計算裝置裝在我的口袋裡,很服帖。而且它和頭顯之間的傳輸線也不會影響到我的行動。控制器的反應很快,設備發出的聲音精准有力。

但我只有一個顧慮——視野(視場)。

和微軟的 HoloLens 一樣,Magic Leap 的 Lightwear 也沒有創造出非常貼合人眼習慣的視野(HoloLens 通過另一套完全不同的技術創造 MR 視野)。

Magic Leap 的顯示視野和眼鏡的邊框大致吻合,但由於畫面漂浮在三維空間內,我不能很好地測量它的視野大小。

因此我做出了一個非常聰明的舉動,我掏出了一張信用卡放在眼前,然後揮舞我的手掌,希望通過觀察手掌的出現與消失情況估計視野大小。

實驗的結果是,Lightwear 的視野域大致等同於半彎著手臂時手持的一盒家用老式錄影帶的大小。雖然同 HoloLens 相比,視野域已經大很多,但仍舊差強人意。

「我可以肯定的是,我們的下一代硬體技術將會在視野域方面大幅提高。」Miller 說,「你現在感受到的視野域就是這次發貨的初代產品的視野域了,但是下一代產品將會顯著改善。我們在實驗室中已經有研究人員在對下一代產品進行開發了。」

De Luliis 補充說,開發者已經提出了去掉視野邊框的解決方案,這樣佩戴者就不會對圖像的邊界有那麼強烈的感受。「然後你的大腦會自動幫你補全缺失的圖像。」他說。

Miller 想給我看另一個巧妙的設計。他走到大房間盡頭,並讓我啟動 Gimble。

無人機乖乖地出現在遠處,漂浮在 Miller 旁邊。然後 Miller 和機器人走到了同一個地方,很快就消失了。好吧,我仍能看到他的腿從無人機的底部伸出來。

我的第一反應是「這種事情也在所難免」,但後來我意識到,我看到的是由 Magic Leap 技術創造出來的一個虛構物,且完全被它糊弄住了。我親眼看到兩個物體出現同一個地方,且認為那個虛構物而非工程師才是真實的,就這樣把 Miller 忽略了,至少 Abovitz 後來是這樣向我解釋的。

最後,我去了一個單獨的房間,得以對一種特別的體驗一探究竟。

冰島實驗搖滾樂隊 Sigur Ros 與 Magic Leap 的一些工作人員合作,試圖創造一種體驗,他們喜歡稱之為聲景觀(soundscape)。在觀看這個特別的演示時,我被要求戴上耳塞和護目鏡。

「你將看到的是一個叫作 Tonandi 的項目,」項目技術負責人 Mike Tucker 告訴我,「你將看到的不是一種錄製曲目,而是一種互動式的聲景觀(soundscape)。他們喜歡這麼描述它。」

Tonandi 首先在你周圍創建了一圈飄起來的樹,然後等著看你的反應。

樹環浮在我的周圍,像一些小精靈在空中跳舞。當我向他們揮手時,他們發出了一種嗡嗡聲,並在我周圍漸隱漸移。隨著時間的推移,各種各樣的創造物出現了,我觸摸他們,向他們招手,輕拍他們,等待著看這些動作會產生什麼樣的音樂。

很快,地上冒出了豆莢的長莖,地毯和咖啡桌上長出了草。我注意到豆莢像花蕾一樣綻開,我的周圍漂浮著黃貂魚形狀的五彩燈。

我的動作不僅能改變周遭這個小世界,它還可以讓你對聽到的音樂進行創作,將我的動作與 Sigur Ros 發出的聲音結合起來。

體驗 Tonandi 的創作很輕鬆。那種超現實並注入了魔幻現實主義的音樂創作,任何人都可以去嘗試。但是幕後工作卻很費力、Tucker 說,Magic Leap 在這個項目中內置了大量的技術。

「我們在 Magic Leap 中添加了很多特殊性能,」他說,「我們使用了房間網格劃分和眼球跟蹤,我們利用輸入系統來分析你的手勢,從而創造出你的大部分體驗。」

後來,在會議室裡吃午飯的時候,Abovitz 說了團隊曾經做過的一次恐怖實驗。「太可怕了,」他說,「人們再也不會進那個房間了。它非常非常可怕,就像死亡威脅一樣,所以我們就決定,好吧,讓我們暫且把它放到一邊。』」

還有很多想像空間,但我沒有體驗到。

我曾設想過的一個場景是基於維塔工作室(Weta Workshop)的作品。電影《魔戒》《銀翼殺手 2049》和《雷神:仙境傳說》的特效與道具就是由該工作室負責的。但是這個想法沒有機會得到測試。

該工作室正在開發的一款遊戲,最初是由維塔新成立的 Weta Gameshop 部門所創建,內容圍繞 Grordbort 博士的奇妙宇宙,由維塔的概念設計師 Greg Broadmore 創作,權屬於維塔工作室的兩位創始人 Richard Taylor 和 Tania Rodger。

Taylor 告訴 Glixel,目前新部門由 Broadmore 負責,其中有大約 55 人致力於該款遊戲的開發工作。

「我們已經在這款遊戲上研究了五年時間,」Taylor 說道,「我們一直在開發這款遊戲,這些工作直接關係到 Magic Leap 的軟硬體開發。」

這是一款第一視角射擊遊戲,背景設定為 Grordbort 博士的惡搞世界。Taylor 認為這款遊戲將在明年硬體推出後得以問世。

在這款遊戲的虛構世界中,某個機器人星球找到了一種製造地球入口的方法,並開始入侵地球。玩家必須使用系統的控制器(操作起來就像一把射線槍)來阻止他們通過這些入口並行駛破壞行為。

「當你進入角色時,地球入口會出現在你的休息室或臥室牆壁上,你可以看到機器人星球的樣子,」Taylor 說,

「Gimble(其中一個演示中出現過的那個機器人)會帶給你一個平靜的開場,然後 Grordbot 博士會和你進行一段談話,接著冒險就開始了。這是最瘋狂的現實體驗。」

死磕現實

價值數十億美元的 Magic Leap 技術有時看起來似乎沒什麼難度係數,因此人們很容易低估它的技術含量。而在某些方面,這是該技術的關鍵創新點之一——它可以讓你感覺不到它的存在。

Abovitz 及其在 Magic Leap 的團隊希望解決的其中一個基本問題是,人們在佩戴虛擬實境耳機和長時間面對螢幕時會產生普遍的不適感。

「所以我們的最終目標是將空間計算建造為一種大眾化的、隨時隨地可得的東西,」Abovtiz 告訴我,

「這個目標野心很大,要花很多時間才能實現。但你總會需要一些輕鬆舒適的東西。它必須適合你,就像你的襪子和鞋子。它必須非常適合於你的臉和身體。而我認為其中最基本的就是,這些信號必須與你緊密相容。」

他說,他們需要找到一種重現光場的方法,使最終的觀看體驗與你周圍的景色一樣自然舒適。他說,這是 Magic Leap 的工作基石。「你再也不想去思考它了。」你只需知道我們已經照管好了一切,而我們認為這是重要的第一步。

而該技術的基礎可能已經被解決。但當我提出視野的有限性時,Abovitz 承認,這種體驗的傳遞過程還不夠完善。他說公司仍在微調體驗過程。

「我們將視野稱之為可行的以及利於 ML1 的,」他說的是即將推出的第一款消費級耳機,「無論是在 Magic Leap 2 還是 Magic Leap 3 等,這是我們將繼續進行反覆運算的特性之一。而這就好比,你打磨出了一種產品規格和視野體驗……在這方面我已完成我想要的了。」

Abovitz 並沒有真正回答我的問題,他沒有指出關於這項技術的另一個主要痛點,那就是對視覺焦點問題的處理。

理論上來說,AR 光場隔在人眼與現實世界之間,人眼需要能夠透過 AR 光場看到現實世界。但在這樣的機制下,若人眼關注現實世界,則 AR 影像將會失焦。

我翻閱了一些文檔,發現這些 AR 眼鏡都沒有提及到如何有效處理這個問題。所以我希望從 Abovitz 那裡得到答案,這項技術到底能否解決多焦平面問題(一種光學術語)。

在 Abovitz 過後補給我的一封郵件中,他這樣寫道:

「Magic Leap 的 Lightwear 採用的是我們特有的 Digital Lightfield 專利技術,是我們類比光場信號的數位信號版本。採用這項技術,開發者能夠創造出視覺體驗良好的應用程式,程式中的人物和物體會出現在合適的空間範圍內,不會對人眼造成困擾。」

當我想要追問更確切的答案時,Abovitz 以涉密為由拒絕了。

以 Abovitz 的視角看來,作為首款產品,這款 AR 眼鏡首先能夠正常使用,其次能夠印證它的名字——Magic Leap One: Creator Edition(創造者版本)。

對於 Magic Leap 來說,Creator 是開發者、品牌方、代理商,以及一小部分早期消費者。

對於發售日期及價格,Abovitz 也不肯給我明確的資訊。

但是他表示,第一款產品將會毫無疑問地在 2018 年發售。至於售價,「我們內部已經有了一個定價,但是暫時還不方便透露。」他說,

「定價會在預定開始時對外宣佈。我想說我們的產品不僅僅是一個高級的計算系統,也不僅僅是一個高端且具有工藝美感的電子設備。」

除了沒有得到一些關鍵問題的答案之外,在 Magic Leap 公司到處遊蕩的這一整天讓我意識到,這家公司真正想要達成的成就是什麼:

絕不僅僅是頭顯設備,也絕不僅僅是頭顯設備背後的光場技術。Magic Leap 正以頭顯為載體,將一系列殺手級技術融合到一起。而這枚頭顯,或許會在未來的某一天,重新定義當今的科技。

光場可以在人們所處的自然光世界中排列出一個虛擬實境畫面,這也是呈現出來的最明顯的創新之處。不過,驚喜並不止步於此。

視覺感知系統正在不斷跟蹤你所路過的世界,會注意到所有種細節,包括各種平面、牆壁以及物體。

結果就是,這款頭戴式設備能夠看到你做了什麼,然後會讓自己創造的物體適當地行動。這樣一來,無論你旁邊是否掛著一個混合現實監視器,都能確保你客廳中漂浮的魚不會穿過沙發。

這個房間地圖也會記錄你的世界中所放置的各種東西,所以當你回來的時候,這些物體會在原處等你。如果你在桌子上面擺上六個監視器,然後去睡覺,那麼第二天他們還會處在你放下他們的地方。

儘管我們不知道 Lightpack 內置微型電腦的規格,但我們知道,它被設計用在一個可見、可感的世界中運行遊戲。

而控制器是一種能直接與系統進行交互的方式,當然你也可以使用 Magic Leap 自帶的姿態追蹤,它不僅包括手和手指的追蹤,還包括頭部位置、聲音、眼球追蹤甚至更多。

最後,這項黑科技不僅使用光場技術,也用到了聲場技術。感知身歷聲系統可以跟蹤你的移動和反應,以確保無論你站在哪裡,回聲始終來自於物。它還可以傳達距離和強度資訊。

這些軟體和硬體僅是構建 Magic Leap One 及其 Lightwear、Lightpack、Control 三部分的基礎。

明年初,MagicLeap 計畫開放一個創作者門戶,為他們提供其軟體開發套件的訪問入口。那樣,就不只有 Magic Leap 和其合作夥伴 Weta、Sigur Ros、 ILMxLAB 以及 Twilio 打造這項新的體驗,而將成為任何人都能探索的領域。

事情結束後,團隊送我去 Abovitz 的辦公室告別。他堅持親自送我到門口,並在通往出口的路上停下了腳步。

附近樓梯間的牆上掛著一副畫,那是畫家 Salvador Dali 的作品,題為「用帶有全息圖和電腦的眼鏡去看想像的物體」。

Abovitz 認為,這幅作品就代表了 Magic Leap 在重建光場方面的工作。他的手指依次點過畫裡類似數學公式的塗鴉,眼鏡、視野以及看起來像是視覺皮層的位置。

這就是 Dali 版的 Magic Leap,用魔幻現實主義繪畫手法創作

在這幅圖裡,我看到的是外部圖像被吸收,同時也被視覺皮層和大腦處理。

而 Abovitz 的看法則相反:這幅畫顯示了電腦生成的圖像被注入大腦,然後投影到了用戶的世界。

Next Article
喜欢就按个赞吧!!!
点击关闭提示