iPhone X能否成為一個快速、廉價、簡單的面部捕捉系統？大約一個月前， Kite＆Lightning的Cory Strassburger收到了蘋果的iPhone X。 在一天之內， 他測試了使用TrueDepth相機和ARKit的軟體。 他想看看它是否可以用於他們的遊戲和電影內容。
Kite＆Lightning是Oculus VR開發人員工具包的早期創新者， 他使用一些引人注目的人類捕捉技術構建了Senza Peso等突破性的體驗。 現在， 他們正在建造比比倫大戰。 遊戲圍繞著這些擁有巨大態度的“beby”角色。 他想看看是否可以用iPhone X的面部捕捉更快， 更便宜地為這些角色賦予一個大個性， 而且他在週末的時間裡花了一些時間。
Strassburger在一封電子郵件中寫道：“我認為我目前的重大結論是來自iPhone X的捕獲資料非常微妙， 穩定並且不會過度平滑。 “它實際上是在微妙的動作， 即使是小的抽搐， 也足夠乾淨（無噪音）， 可以根據你的標準使用電話。 ”
他認為它代表了一種相對便宜的面部捕捉方法。 該系統也可以移動， 可以更容易設置和部署。
下面是捕獲過程Strassburger，
使用蘋果ARKit和Unity我導入了一個正在工作的Bebylon角色， 並將其面部表情混合形狀掛接到ARKit輸出的面部捕捉資料。 這讓我根據自己的表情開動寶寶的臉部動畫。
我需要捕獲這些運算式資料才能將其導入到Maya中。 我添加了一個記錄功能， 將面部表情資料資料流到一個文字檔中。 這本地保存在iPhone上。 每個開始和停止採取成為一個單獨的文字檔， 並可以在捕獲應用程式中命名/重命名。
我通過USB將文字檔從iPhone X複製到桌面。
捕獲的資料需要重新格式化為導入到Maya， 所以我寫了一個簡單的桌面應用程式來做到這一點。 它將選定的文字檔並將其轉換為Maya .anim文件。
我將.anim檔導入到Maya中，
根據Strassburger的說法， 他在資料中發現了一些小故障， 並認為他的代碼可能是負責任的。 此外， 儘管捕捉以每秒60幀的速度發生， 但目前的進程以每秒30幀的速度呈現， 因此您可以看到一些品質損失。 根據Strassburger的說法， 這在“馬唇”部分最為顯著。
斯特拉斯伯格寫道:“這個系統的真正之美在於， 它非常快， 而且很容易捕捉(在你的手機上)， 然後將它導入Maya或直接進入遊戲引擎。 ”“在任何一點上都沒有真正的處理， 而且資料似乎足夠乾淨， 可以用不改變的方式使用。 ”
Strassburger希望將iPhone X附在頭盔上， 然後使用Xsens套裝來做全身運動， 同時還能捕捉到面部表情。
斯特拉斯伯格寫道:“我很有信心， 通過在blendshape雕塑中拔號，