從Spilly談社交AR應用的技術實現原理

文章相關引用及參考：映維網

Spilly于本周正式發佈了AR應用Spilly World，而本文正是來自於Spilly團隊

（映維網 2018年01月18日） 2014年，一家名為Looksery的烏克蘭初創公司利用這項技術為消費者創建了一個數位化妝自拍應用程式，

而該應用程式的下載量超過了一百萬次。Snapchat發現了潛在的巨大市場，並且斥資收購了Looksery。6個月後，這為Snapchat帶來了現在十分知名的“Lens”產品。在另一邊廂，Facebook感覺到競爭對手的危險，他們在這之後的第二年收購了MSQRD應用程式背後的團隊。“自拍AR”這種以人為核心的電腦視覺突然在世界範圍內引起了轟動，成為了兩大社交媒體巨頭之間鬥爭的關鍵武器。

在2017年，蘋果和Snapchat都第一次推出了基於SLAM技術的ARKit和World Lenses（允許設備在平面上置放數位物件），而Facebook則為市場帶來了AR Studio（允許開發者創建自己的AR濾鏡）。然而，有消息稱相關的努力尚未成為用戶之間極速躥紅。

那麼接下來是什麼呢？對我們來說，這是新型社交AR的興起。社交AR不僅能夠作為自拍AR階段和眼鏡AR之間的橋樑，

而其潛在相關的技術有可能成為未來的關鍵組成部分。要做到這一點，我們需要開發一個神經網路，在所有配置中（不僅只是自拍）即時檢測和追蹤人像。然而，這向我們提出了一系列的挑戰。

對於利用前置攝像頭實現的自拍AR追蹤，

其基本上是識別和追蹤人像時的一個特殊情況。從前置攝像頭轉移到後置攝像頭，我們將有可能遇上其他情況，如：

物件更有可能偏離相對於攝像頭的中心位置。

他們可以出現在不同的距離，或以不同的大小呈現。

他們往往不是面向攝像頭，所以我們不能只是尋找人臉，而是要尋找頭部，頭髮，帽子和各種相關特徵。

視圖中經常出現多個人像。

為了實現我們的技術，

以上是我們需要克服的事項。那麼，技術的工作原理到底是什麼呢？下面我們將其分解成4個部分：

1. 多個頭部與身體的檢測

我們的技術能夠即時檢測多個頭部與身體。在提供使用者的攝像頭圖像後，應用程式可以識別圖像中顯示頭部及其相應身體的區域。

這能夠做什麼呢？這允許我們根據頭部大小來估計人像的距離。對於身體，我們可以錨定人像運動的任何視覺資訊。

2. 場景/視圖中的持續性個人追蹤

為了追蹤場景中人像的動作與特徵，我們根據多個幀來比較多個頭部和身體的資訊。這樣，即使他們是被其他人包圍，即使他們離開攝像頭視圖後又重新進入，我們也能夠將視覺資訊固定在特定的人像身上。

3. 單獨背景與全身細分

對於每個目標追蹤人像，我們會進一步分類屬於面部，皮膚，頭髮，衣服和背景的圖元。就這樣，我們能夠清晰地分離開一系列不同的圖層，然後我們可以將其用於AR效果的高級混合。如果不是這樣，設備只能通過光場或深度感知技術實現，而這對當前的智慧手機而言並不實際。

4.編輯器

我們專門培訓了我們的神經網路，令其產生任何設計師都可以輕鬆進行交互和操作的圖層。由於網路基於簡單的數學計算，因此我們很容易在桌面和移動設備上以相同的品質實現。這使得設計人員能夠使用我們的自訂編輯器來快速反覆運算和設計面向Spilly應用程式的視覺效果。

以上是具體的工作原理，下面讓我們看看技術的部分用例：

我們開發的三款社交AR應用程式：鼓勵人們聚在一起，扮演自己喜歡的明星，來回作弄對方等等。

遊戲體驗：人們現在可以成為遊戲中的可定位和可操作的角色。

把你自己放入協力廠商內容：借助我們的全圖細分技術，用戶可以將頭部置放於任意視頻中的人像身上，從而完成“頭部移植手術”。不知道你想不想成為最愛電影中的主角呢？

潛在的用例很有很多。在眼鏡AR時代，人們很可能成為一系列相互作用的情境觸發器，如室內生活情景（如特定於某人的提醒，比方說提醒丈夫做早餐），個人細節，或者說更豐富的遊戲體驗。接下來，我們可能會看到涉及商業交易的戶外交互（如“分類廣告網站”項目的個人付款），以及視覺增強，你可以期待Tumblr和Pinterest（皆為圖片分享應用）背後的相同動機擴展到你個人身上。

簡而言之，人管理著這個由技術驅動的世界，而這種以人為中心的視覺技術進步只會進一步將人與技術聯繫在一起。我們正在走向這麼一個未來：以智慧手機為基礎的商業，娛樂和自我表達將從螢幕束縛中解放出來，數字世界將直接集成至我們面前的世界。我們需要謹慎行事，但這個潛在未來的價值已經清晰可見。

原文連結：https://yivian.com/news/40546.html

對於每個目標追蹤人像，我們會進一步分類屬於面部，皮膚，頭髮，衣服和背景的圖元。就這樣，我們能夠清晰地分離開一系列不同的圖層，然後我們可以將其用於AR效果的高級混合。如果不是這樣，設備只能通過光場或深度感知技術實現，而這對當前的智慧手機而言並不實際。

4.編輯器

我們專門培訓了我們的神經網路，令其產生任何設計師都可以輕鬆進行交互和操作的圖層。由於網路基於簡單的數學計算，因此我們很容易在桌面和移動設備上以相同的品質實現。這使得設計人員能夠使用我們的自訂編輯器來快速反覆運算和設計面向Spilly應用程式的視覺效果。

以上是具體的工作原理，下面讓我們看看技術的部分用例：

我們開發的三款社交AR應用程式：鼓勵人們聚在一起，扮演自己喜歡的明星，來回作弄對方等等。

遊戲體驗：人們現在可以成為遊戲中的可定位和可操作的角色。

把你自己放入協力廠商內容：借助我們的全圖細分技術，用戶可以將頭部置放於任意視頻中的人像身上，從而完成“頭部移植手術”。不知道你想不想成為最愛電影中的主角呢？

潛在的用例很有很多。在眼鏡AR時代，人們很可能成為一系列相互作用的情境觸發器，如室內生活情景（如特定於某人的提醒，比方說提醒丈夫做早餐），個人細節，或者說更豐富的遊戲體驗。接下來，我們可能會看到涉及商業交易的戶外交互（如“分類廣告網站”項目的個人付款），以及視覺增強，你可以期待Tumblr和Pinterest（皆為圖片分享應用）背後的相同動機擴展到你個人身上。

簡而言之，人管理著這個由技術驅動的世界，而這種以人為中心的視覺技術進步只會進一步將人與技術聯繫在一起。我們正在走向這麼一個未來：以智慧手機為基礎的商業，娛樂和自我表達將從螢幕束縛中解放出來，數字世界將直接集成至我們面前的世界。我們需要謹慎行事，但這個潛在未來的價值已經清晰可見。

原文連結：https://yivian.com/news/40546.html