華文網

當你在看迪士尼電影的時候,它可能也在看你

Netflix 不久前推出了第一個互動式選擇節目,觀眾可以拿遙控器控制主角的選擇,進而決定故事發展。不過,從迪士尼的新研究看來,在未來,觀眾也許只需一個微笑,就能改變故事走向了。

迪士尼研究中心(Disney Research)近日發佈了一份新論文,公佈了一項用於觀察分析在影院看電影觀眾反應的技術。也就是說,當那些觀眾在看電影的時候,電影,其實也在觀察你們看得開不開心。

(圖自 Columbia West College)

這項技術名為分解變分自編碼器(factorized variational autoencoders,下稱「FVAE」),是一項基於深度學習的神經網路,

它可以在漆黑的電影院裡捕捉上百名觀眾的表情,並可以自行學習「微笑」和「大笑」等概念。

(你看電影時的微笑,屬於哪個區間?來自論文截圖)

包括迪士尼在內的電影製作公司,大多都會在電影完成後,找焦點小組來對影片進行測試播映,

以瞭解觀眾的反應是否和創作電影時的意圖相符(在該笑的地方是否有笑,該感動時有沒有感到),並且會根據回饋結果調整影片剪切。

和焦點小組相比,人工智慧可分析的資料以及分析程度更高。迪士尼研究的科學家 Peter Carr 在接受 Phys.org 採訪時,談論道:

我們能獲得的資料遠比人工可分析的要多。這就是電腦得參與的原因——它們可以在不丟失重要細節的情況下總結分析資料。

而且,除了收集分析資訊的能力了不起之外,FVAE 讓人更驚豔在於對觀眾反應的預測能力。

本次研究的資料都來自同一家影院。研究人員在 2015 年-2016 年間的 12 個月內,在這家影院裡記錄了 9 部電影(《蟻人》、《瘋狂動物城》、《星戰:原力覺醒》等),合計 153 個場次、3179 位觀眾以及 1600 萬條資訊。

(圖自 Giphy)

而這些資料中,研究人員只用了每場電影 80%的觀眾的資料來訓練 FVAE,而剩下的 20%的觀眾,就是給 FVAE 的測試題。

對於這 20%觀眾的資料,研究人員只將每位觀眾最開始 5%的資料登錄到 FVAE 作為推測剩下 95%時間內的觀眾表情變化。雖然 FVAE 的獲得的成績還比較初步,但和其它神經網路的預測結果對比,FVAE 的錯誤率是最低的。

(FVAE 在判斷資料和預測中的錯誤率都比其它模式低,來自論文截圖)

這就意味著,只讓這神經網路觀察你看電影前 10 分鐘左右的表情,它就能猜到,你對剩下的這些內容會不會感興趣。再跳一步暢想,說不定以後就能用這類神經網路來判斷,並為觀眾選擇,讓故事向他們最喜歡的情節發展方面。

內容商對觀眾喜好的觀察形式,一直以來都是在科技發展過程中不斷演變。

從電視時代開始,尼爾森就給樣本家庭提供有記錄功能的機上盒;而到了網路時代,視頻則會記錄我們留下的觀看歷史;而現在來到人工智慧時代,在技術強大的分析能力加持下,內容商甚至想即時瞭解我們對內容在情緒上的喜好,最終甚至達到可預測的能力。

而這個技術,對於產品跨越影視娛樂內容和主題樂園的迪士尼來講,尤其有價值。

在今年西南偏南活動中,迪士尼研發部副總裁 Jon Snoddy 表示,他們正在嘗試利用人工智慧技術和機器學習,創造極為逼真的動畫角色機器人,並負責和遊客進行互動。這個時候,懂得針對遊客情緒來反映,就顯得特別重要了。

一直以來都是在科技發展過程中不斷演變。

從電視時代開始,尼爾森就給樣本家庭提供有記錄功能的機上盒;而到了網路時代,視頻則會記錄我們留下的觀看歷史;而現在來到人工智慧時代,在技術強大的分析能力加持下,內容商甚至想即時瞭解我們對內容在情緒上的喜好,最終甚至達到可預測的能力。

而這個技術,對於產品跨越影視娛樂內容和主題樂園的迪士尼來講,尤其有價值。

在今年西南偏南活動中,迪士尼研發部副總裁 Jon Snoddy 表示,他們正在嘗試利用人工智慧技術和機器學習,創造極為逼真的動畫角色機器人,並負責和遊客進行互動。這個時候,懂得針對遊客情緒來反映,就顯得特別重要了。