上周， VR網(微信公眾號：VR平臺)編輯參加了由清華x-lab主辦的ACT TALK|藝術·創造力·科技講座系列。 在本次主題為“科技創造力之聲音藝術的感覺與想像”的課堂期間， 清華大學電子系教授、博士生導師竇維蓓以及清華大學97級校友、前高通音訊組主力研發、現米謨科技創始人向奕裴， 與清華大學的師生代表、來自啟迪數字天下/啟迪虛擬實境的企業代表一同探討了音訊技術與聲音藝術的結合。 清華x-lab執行主任毛東輝老師于正式開講前致辭。
講座結束之後， VR網編輯就米謨科技的主營業務， VR中的音訊技術難點及突破口， 以及VR行業發展現狀等問題對米謨科技創始人向奕裴進行了專訪。 或許向奕裴與一般的VR行業從業者不同之處在於， 他更推崇科技與藝術的結合。
文藝學霸出身 創辦米謨科技 堅持用技術提升藝術
出生於音樂世家的向奕裴， 從小學習鋼琴和雙簧管，
“那時我每天都喜歡呆在學校的各個音訊實驗室， 一來是那裡確實很安靜， 易於思考， 二是在那裡聽音樂很棒， 而且在一圈一圈的音箱陣列中做聲音很是享受。 學校的開放學術氣氛、各種藝術論壇和音樂會也讓我像海綿一樣地去感受和學習。 ”向奕裴說道。
之後向奕裴順利進入高通， 專注研究音訊後處理和3D音訊。 在此期間， 他參與了大量的晶片級音訊後處理工作， 包括應用于幾乎所有高通晶片手機的Audio+音效處理元件、HTC M9的手機身歷聲喇叭、實驗性的8音箱環繞陣列、MPEG-H標準組的HOA演算法原始程式碼等等。
當VR網編輯與這位“文藝學霸”談及創辦Mint Muse米謨科技的經歷時，
創業初期， 向奕裴嘗試做了一些音訊相關的App，
“我們堅信， 好的聲音是需要設計的， 軟體可以把聲音打磨得更美， 而好的硬體也可以進一步鞏固這些設計。 ”向奕裴這樣說道。 據VR網編輯瞭解， 目前米謨科技開發了遊戲音訊SDK、VR虛擬影院和首創的VR音訊工作站等軟體產品， 以及一款可錄製全景聲的麥克風， 同時也在多聲道音箱渲染和3D內容頻道方面有所佈局。
針對音訊編輯師痛點 開發VR版音訊編輯工具
近年來， 隨著VR行業的火熱發展， 很多公司都大力投入空間音訊技術研發。 比如Facebook收購了著名的空間音訊技術公司Two Big Ears，並發佈了Facebook 360空間音訊工作站。谷歌、英偉達和Valve也都為VR內容製作者提供了VR音訊編輯SDK，但目前3D音訊原始檔案的製作還存在很多限制。
首先，傳統的3D音訊製作需要使用“人頭錄音”設備，來錄製可以直接使用的3D音訊，但價格昂貴且操作複雜。而目前傳統的影片拍攝過程中，直接實現3D錄音也是不現實的。另一個限制因素在於，目前後期製作3D音訊的編輯工具操作過於複雜，需要音訊製作者在想像聲場空間設置的基礎上，手動調節每個節點的座標數值，依賴這類軟體，3D音訊製作週期也會變得非常長。
針對這一問題，米謨科技研發了全球首款VR音訊工作站《Sound Flare》，並且登陸了Steam平臺。通過該應用，剪輯師可以佩戴HTC Vive在VR環境中直觀的編輯3D音訊，大大縮短3D音訊製作週期。
“影片一般是通過拍攝得來，並不像遊戲中那樣每個物體都有各自的定位資訊。為了讓剪輯師可以更簡單地對聲音物件進行所見即所得的編輯，我們認為最好的對話模式是把剪輯師放進VR環境中，再把編輯介面置於其中。這樣，對聲音物件的位移變化等調整都可以直接在VR環境中操作，由頭部轉動引起的聲音變化也可以即時地在VR環境中得到體現。”向奕裴介紹道。
根據向奕裴的介紹，內容製作者可以戴著VR頭顯，在所看到的軟體介面上直接拖動音訊檔，除了調整時長、剪接、調音量等基本功能，通過打點、拖動關鍵幀等方式，也可以根據發聲路徑改變聲音的遠近，讓發聲的人物和聲音效果相符。這樣一來，人物的位置資訊在聲音和畫面上都保持了一致，VR視頻將真正個人一種“能忘卻所佩戴設備的真實空間感”。
“《Sound Flare》編輯器可以說是全球首款可直接在VR介面工作的音訊後期處理工具。”向奕裴說，他希望《Sound Flare》不僅為VR內容製作者提供便利，更希望通過其普及，讓VR內容領域有新的爆發。
VR內容爆發仍需時日 VR中的音訊技術仍需探索
當VR網(微信公眾號：VR平臺)編輯和向奕裴談及對目前VR行業的看法時，向奕裴表示，VR在視覺、定位、交互和聲音等領域都有極具挑戰性的技術應用，最終的結果是給人們一種獨特的方式，去體驗一個虛擬的真實世界，或者是不可能存在於真實環境、完全被創造出來的虛擬世界，讓我們從一個全新的角度去重新體驗和感受。
雖然隨著虛擬實境技術的發展，我們已經可以輕鬆擁有沉浸式的視頻觀看體驗了，但VR的音訊內容卻沒有跟上視頻的腳步。不管VR在設備和科技上有了怎樣的突破，如果音訊製作一直處於滯後狀態，VR在發展上仍會受到制約。也就是說，VR內容的行業格局將會在很大程度上依賴於VR音訊的發展。
目前，米謨科技專注于全景聲和3D音訊技術的開發，以及在VR中的相關應用。我們期待著米謨科技的產品能夠儘快普及，用全景聲和3D音訊技術為VR內容的製作和傳播帶來新的突破。
“VR是一個令人振奮的新行業，聲音作為感官的一個重要部分，也需要更好的技術和特別的設計。”向奕裴認為。
關於ACT TALK |藝術·創造力·科技講座系列
“ACT TALK |藝術·創造力·科技講座系列”是由清華x-lab主辦，來自清華大學經管學院、人文學院、美術學院等院系的教授聯名發起，通過邀請各領域名稱人學者演講互動，打破學術專業和產業領域界限的同時，引導學生跳出思維定式，學習並掌握藝術創造力和科技創造力的“思維平衡” 。該講座系列重在激發學生和團隊的想像力、創造力和行動力，從而創新出藝術與科技的美好結晶，最終通過商業化的推動擁有廣泛社會影響力。從活動立意到形式呈現將充分體現清華x-lab學科交叉、探索未知、體驗式學習與團隊合作的教育理念。
比如Facebook收購了著名的空間音訊技術公司Two Big Ears，並發佈了Facebook 360空間音訊工作站。谷歌、英偉達和Valve也都為VR內容製作者提供了VR音訊編輯SDK，但目前3D音訊原始檔案的製作還存在很多限制。
首先，傳統的3D音訊製作需要使用“人頭錄音”設備，來錄製可以直接使用的3D音訊，但價格昂貴且操作複雜。而目前傳統的影片拍攝過程中，直接實現3D錄音也是不現實的。另一個限制因素在於，目前後期製作3D音訊的編輯工具操作過於複雜，需要音訊製作者在想像聲場空間設置的基礎上，手動調節每個節點的座標數值，依賴這類軟體，3D音訊製作週期也會變得非常長。
針對這一問題，米謨科技研發了全球首款VR音訊工作站《Sound Flare》，並且登陸了Steam平臺。通過該應用，剪輯師可以佩戴HTC Vive在VR環境中直觀的編輯3D音訊，大大縮短3D音訊製作週期。
“影片一般是通過拍攝得來，並不像遊戲中那樣每個物體都有各自的定位資訊。為了讓剪輯師可以更簡單地對聲音物件進行所見即所得的編輯，我們認為最好的對話模式是把剪輯師放進VR環境中，再把編輯介面置於其中。這樣，對聲音物件的位移變化等調整都可以直接在VR環境中操作，由頭部轉動引起的聲音變化也可以即時地在VR環境中得到體現。”向奕裴介紹道。
根據向奕裴的介紹，內容製作者可以戴著VR頭顯，在所看到的軟體介面上直接拖動音訊檔，除了調整時長、剪接、調音量等基本功能，通過打點、拖動關鍵幀等方式，也可以根據發聲路徑改變聲音的遠近，讓發聲的人物和聲音效果相符。這樣一來，人物的位置資訊在聲音和畫面上都保持了一致，VR視頻將真正個人一種“能忘卻所佩戴設備的真實空間感”。
“《Sound Flare》編輯器可以說是全球首款可直接在VR介面工作的音訊後期處理工具。”向奕裴說，他希望《Sound Flare》不僅為VR內容製作者提供便利，更希望通過其普及，讓VR內容領域有新的爆發。
VR內容爆發仍需時日 VR中的音訊技術仍需探索
當VR網(微信公眾號：VR平臺)編輯和向奕裴談及對目前VR行業的看法時，向奕裴表示，VR在視覺、定位、交互和聲音等領域都有極具挑戰性的技術應用，最終的結果是給人們一種獨特的方式，去體驗一個虛擬的真實世界，或者是不可能存在於真實環境、完全被創造出來的虛擬世界，讓我們從一個全新的角度去重新體驗和感受。
雖然隨著虛擬實境技術的發展，我們已經可以輕鬆擁有沉浸式的視頻觀看體驗了，但VR的音訊內容卻沒有跟上視頻的腳步。不管VR在設備和科技上有了怎樣的突破，如果音訊製作一直處於滯後狀態，VR在發展上仍會受到制約。也就是說，VR內容的行業格局將會在很大程度上依賴於VR音訊的發展。
目前，米謨科技專注于全景聲和3D音訊技術的開發，以及在VR中的相關應用。我們期待著米謨科技的產品能夠儘快普及，用全景聲和3D音訊技術為VR內容的製作和傳播帶來新的突破。
“VR是一個令人振奮的新行業，聲音作為感官的一個重要部分，也需要更好的技術和特別的設計。”向奕裴認為。
關於ACT TALK |藝術·創造力·科技講座系列
“ACT TALK |藝術·創造力·科技講座系列”是由清華x-lab主辦，來自清華大學經管學院、人文學院、美術學院等院系的教授聯名發起，通過邀請各領域名稱人學者演講互動，打破學術專業和產業領域界限的同時，引導學生跳出思維定式，學習並掌握藝術創造力和科技創造力的“思維平衡” 。該講座系列重在激發學生和團隊的想像力、創造力和行動力，從而創新出藝術與科技的美好結晶，最終通過商業化的推動擁有廣泛社會影響力。從活動立意到形式呈現將充分體現清華x-lab學科交叉、探索未知、體驗式學習與團隊合作的教育理念。