李林 編譯整理
製作一部VR沉浸式電影時， AI能發揮怎樣的作用？
Facebook做出了一些嘗試， 把基於對抗生成網路(GAN)、風格遷移等方法的圖像生成和處理技術用到了電影後期中。
而且是部VR電影。
Facebook巴黎AI研究院最近和電影製作公司OKIO工作室、Saint George VFX工作室， 以及導演Jérôme Blanquet合作， 完成了一部新VR影片：《Alteration》。
AI研究員們和電影製作團隊合作， 首先要解決一個最基本的問題：清晰地給電影製作團隊展示AI都能做什麼。 這樣，
他們嘗試了基於GAN的自動編碼器和風格遷移兩種特效方法， 然後選定了風格遷移。
Facebook研究團隊在昨天發佈的博客文章中說， GAN自動編碼器了雖然在科研環境中表現良好， 但是生成的特效沒有達到電影製作團隊的預期。
如果你對“風格遷移”這個詞感到陌生， 看了下面這張圖， 一定就明白了：
風格遷移這兩年來非常火熱， 研究界不停生產著讓風格遷移更真實、更具創造性的論文和代碼， 各種用風格遷移來處理圖片和視頻的App中也層出不窮。
把風格遷移用到VR電影中， 面臨著兩大挑戰：
一是從技術上看， VR電影是高解析度的360度立體圖像， 這樣的圖像為風格遷移帶來了存儲和處理時間的限制， 而且風格遷移在3D圖像上效果如何， 也是個未知數；
二是技術團隊優化演算法的依據不再是某種可量化的指標， 而是導演的審美情趣。
Facebook巴黎AI研究院的技術團隊從三個方面解決來應對這種挑戰。
首先， 他們選擇了17種由Julien Drevelle作品衍生出來的目標風格， 要訓練一個神經網路， 用來對電影中的幀進行修改。
最初， 他們訓練遷移神經網路所用的圖像， 解析度只有128×128圖元， 但是當把這個神經網路應用到VR影片上， 發現所處理的圖像尺寸非常大。 因此， Facebook團隊後來用768×768的圖像重新訓練了這個神經網路。
訓練完成後， 他們通過將每個目標樣式應用於單個幀來生成高解析度測試圖像， 然後調整樣式效果的強度以創建25個不同的高解析度輸出幀。 這個過程對於導演選擇何種風格非常有效， 同時FAIR也能從視頻專業角度來確定一個良好的風格遷移。
以下是一些示例， 可以看到風格遷移帶來的效果。
最後，必須將模型應用於某一場景的視頻幀。在每個GPU上，這些模型大約需要100GB容量的顯存，所以他們改用CPU。總共使用了550個CPU時來編碼完成所有的幀。當然，還得確保雙眼看到的立體效果是一致的。
在這部電影中，首次實現了對VR的風格遷移，這表明AI現在已經足夠成熟，可以用來作為電影人的創作工具。
影片昨天已經在Oculus的商店上架，Oculus Rift和三星GearVR都可以看：
https://www.oculus.com/experiences/rift/1514447601900695/
如果沒有VR設備，上面連結中還有正常版片花可看。
【完】
最後，必須將模型應用於某一場景的視頻幀。在每個GPU上，這些模型大約需要100GB容量的顯存，所以他們改用CPU。總共使用了550個CPU時來編碼完成所有的幀。當然，還得確保雙眼看到的立體效果是一致的。
在這部電影中，首次實現了對VR的風格遷移，這表明AI現在已經足夠成熟，可以用來作為電影人的創作工具。
影片昨天已經在Oculus的商店上架，Oculus Rift和三星GearVR都可以看：
https://www.oculus.com/experiences/rift/1514447601900695/
如果沒有VR設備，上面連結中還有正常版片花可看。
【完】