更多騰訊海量技術文章， 請關注雲加社區：https://cloud.tencent.com/developer
作者：騰訊遊戲雲
導語：在剛剛結束的首屆騰訊用戶開放日上， 騰訊音視頻實驗室帶著3D位置音效解決方案， 向所有用戶亮相， 為用戶提供360度立體空間的沉浸式聽覺體驗， 那麼這項技術如何結合具體的場景提升用戶聽感和體驗呢？這篇文章將會詳細闡述。
基於遊戲開發引擎（例如Unreal、Unity）實現的3D音效在遊戲中的應用已經非常普遍了， 通過遊戲引擎類比重現空間中聲源方位， 例如CS中射擊的槍聲、中彈時的音效、附近敵人輕微的腳步聲， 可以顯著提高遊戲的沉浸感，
這裡我們可以聽一段音視頻實驗室通過3D音效演算法處理前後的音訊對比（請帶上耳機收聽）：
處理前：http://m.v.qq.com/play/play.html?vid=p0525cjnmhj&ptag=4_5.9.0.21014_copy
處理後：http://m.v.qq.com/play/play.html?vid=y0525bzlbwz&ptag=4_5.9.0.21014_copy
可以聽到， 處理後的音訊攜帶了更多的空間感和方位感資訊， 通過擴展音樂的延展度， 讓聲場更大、聲音位置感更準確、聲音運動軌跡更加生動， 提升音樂的臨場感和沉浸感。
然而， 3D音效之前並沒有大規模應用在即時語音溝通領域， 這主要是由於之前重度遊戲中玩法對於語音能力的定位更多是溝通方式而非創新玩法， 使用場景對於即時語音攜帶方位感訴求也不強烈。
2017年一款遊戲《絕地求生：大逃殺》， 通過創新的百人大逃殺、勝者吃雞玩法， 短時間獲得了全球玩家的青睞和追捧。
而引入3D位置語音之後， 玩家在喊話過程中會暴露自己的方位和位置資訊， 玩家的聲音也會根據位置變化而即時改變。 可以說， 3D音效讓《大逃殺》這種玩家間的溝通和戰鬥體驗更真實， 感受更加沉浸式、更加身臨其境的吃雞玩法。
3D音效除了應用在吃雞遊戲中之外， 結合線上棋牌房等多人語音場景也可以顯著提升用戶體驗。
現在多人會話中幾路聲音混為單聲道後，
例如， 3D音效應用到棋牌類遊戲的語音房間時， 通過將各個聲音虛擬到桌面相應位置， 玩家可以清楚地感知到其他玩家的聲音是來自自己左、右還是正前方， 打造線上棋牌房的沉浸式體驗， 也讓玩家開語音溝通的意願更加強烈。
以下是我們模擬玩家方位處理的一段棋牌遊戲中即時語音效果：
http://m.v.qq.com/play/play.html?vid=x0525b7bchv&ptag=4_5.9.0.21014_copy
3D音效的另一個重要應用場景是VR音訊。
VR的一切都是關於臨場感， 而逼真的3D音效效果可以成為臨場感的點睛之筆。 VR設備能夠通過頭部運動追蹤物體固然重要， 能夠聽到攜帶物體位置資訊的聲音也同樣重要， 逼真的3D音效效果能夠給玩家傳遞其他玩家的位置資訊、環境資訊， 通過視覺和聽覺的相互加強來達到最好的效果。
從方位上， VR中各個聲音可以虛擬到空間的某個位置上， 使用戶感受聲音來自特定位置；用戶轉頭時， VR中剛才所虛擬方位的聲音將隨之變化相應的方位， 製造出360度立體空間聲音定位的效果， 讓玩家更加確信聲源就在現實中。 這對於VR類遊戲體驗非常關鍵。 目前音視頻實驗室的3D音效相關技術提案已提交到AVS（國家音視頻編解碼技術標準）的VR音訊國家標準中， 且在騰訊今年發佈的一款VR 遊戲“hello world”中已上線。
3D音效還可用于高清視頻的音訊處理，使用者只需使用雙聲道耳機，即可在家體驗影院的沉浸式身歷聲視聽體驗。
我們知道，在電影院觀影過程中為了打造身歷聲效果常用5.1聲道，7.1聲道，每個聲道的聲音通過不同位置的音箱播放出來，配合影片，觀眾體驗更加震撼。而當戴耳機來觀看電影時，由於常規的方法是簡單的將靠左側的所有聲道混在左聲道，靠右側的聲道混在右聲道，中置聲道左右都混，這導致無論5.1還是7.1所有聲像最終都變成左中右，模糊掉許多細節導致一些聲音的變化體現不真實，例如從左後方運動到左方再到左前。更嚴重的是，假如其他聲道無聲，只有左前聲道有聲音，就變成了只有左耳機響，這種感受很不好。
而3D音效可將各聲道虛擬到各個相應音箱的位置，從而使聽覺更像來自空間中的各個音箱。運用3D音效技術，使用者在家用雙聲道耳機即可體驗沉浸式的影院身歷聲效果。
以下是我們在騰訊視頻上截取的音樂原聲並通過3D音效處理後的效果：
http://m.v.qq.com/play/play.html?vid=l0525grmt7b&ptag=4_5.9.0.21014_copy
那麼，三維虛擬聽覺是如何實現的呢？要將普通單聲道聲音處理為沉浸感的音訊需要先瞭解下面的問題：人耳如何分辨聲音來自何方？ 我們先看下面的圖：
通過圖中我們可以看到，左右耳聽到的聲音先後、左右耳聽到的聲音的大小、左右耳聽到聲音實際頻譜都是有差異的。
我們的3D音效技術，就是利用“頭部關聯傳輸函數”（HRTF 演算法），對雙耳之間的時間差異和頻譜差異進行建模，形成有聲源方位感的聲音。同時我們還通過採樣混響填補HRIR缺失的環境反射聲，從而構建完整的聲場模型。比如在一個小房間裡，不僅可以聽到兩個人之間的對話，還可以聽到聲音從牆壁中反射的效果，增加沉浸感。在下一篇關於3D音效技術揭秘的文章中，我們會披露關於此項技術更多的原理介紹，敬請期待！
3D位置語音解決方案應用到遊戲即時語音溝通中，玩家可以根據隊友語音“聽聲辨位元”，擁有“身臨其境”的沉浸式遊戲體驗。目前3D音效技術已經集成到騰訊音視頻實驗室推出的即時遊戲音視頻TMG（Tencent Mobile Gaming）解決方案中。TMG提供了包括多人即時語音、即時視頻、語音訊息、語音轉文本等功能，覆蓋了休閒社交類、MOBA 類、MMORPG 等多種遊戲類型，是一個專門針對遊戲場景定制的即時遊戲音視頻 SDK，且接入門檻極低，一個 SDK 即可滿足多樣化的遊戲音視頻訴求。有關即時遊戲音視頻（Tencent Mobile Gaming）服務的詳細資訊，可流覽https://cloud.tencent.com/product/tmg?idx=1 。
且在騰訊今年發佈的一款VR 遊戲“hello world”中已上線。3D音效還可用于高清視頻的音訊處理，使用者只需使用雙聲道耳機，即可在家體驗影院的沉浸式身歷聲視聽體驗。
我們知道，在電影院觀影過程中為了打造身歷聲效果常用5.1聲道，7.1聲道，每個聲道的聲音通過不同位置的音箱播放出來，配合影片，觀眾體驗更加震撼。而當戴耳機來觀看電影時，由於常規的方法是簡單的將靠左側的所有聲道混在左聲道，靠右側的聲道混在右聲道，中置聲道左右都混，這導致無論5.1還是7.1所有聲像最終都變成左中右，模糊掉許多細節導致一些聲音的變化體現不真實，例如從左後方運動到左方再到左前。更嚴重的是，假如其他聲道無聲，只有左前聲道有聲音，就變成了只有左耳機響，這種感受很不好。
而3D音效可將各聲道虛擬到各個相應音箱的位置，從而使聽覺更像來自空間中的各個音箱。運用3D音效技術，使用者在家用雙聲道耳機即可體驗沉浸式的影院身歷聲效果。
以下是我們在騰訊視頻上截取的音樂原聲並通過3D音效處理後的效果：
http://m.v.qq.com/play/play.html?vid=l0525grmt7b&ptag=4_5.9.0.21014_copy
那麼，三維虛擬聽覺是如何實現的呢？要將普通單聲道聲音處理為沉浸感的音訊需要先瞭解下面的問題：人耳如何分辨聲音來自何方？ 我們先看下面的圖：
通過圖中我們可以看到，左右耳聽到的聲音先後、左右耳聽到的聲音的大小、左右耳聽到聲音實際頻譜都是有差異的。
我們的3D音效技術，就是利用“頭部關聯傳輸函數”（HRTF 演算法），對雙耳之間的時間差異和頻譜差異進行建模，形成有聲源方位感的聲音。同時我們還通過採樣混響填補HRIR缺失的環境反射聲，從而構建完整的聲場模型。比如在一個小房間裡，不僅可以聽到兩個人之間的對話，還可以聽到聲音從牆壁中反射的效果，增加沉浸感。在下一篇關於3D音效技術揭秘的文章中，我們會披露關於此項技術更多的原理介紹，敬請期待！
3D位置語音解決方案應用到遊戲即時語音溝通中，玩家可以根據隊友語音“聽聲辨位元”，擁有“身臨其境”的沉浸式遊戲體驗。目前3D音效技術已經集成到騰訊音視頻實驗室推出的即時遊戲音視頻TMG（Tencent Mobile Gaming）解決方案中。TMG提供了包括多人即時語音、即時視頻、語音訊息、語音轉文本等功能，覆蓋了休閒社交類、MOBA 類、MMORPG 等多種遊戲類型，是一個專門針對遊戲場景定制的即時遊戲音視頻 SDK，且接入門檻極低，一個 SDK 即可滿足多樣化的遊戲音視頻訴求。有關即時遊戲音視頻（Tencent Mobile Gaming）服務的詳細資訊，可流覽https://cloud.tencent.com/product/tmg?idx=1 。