ACG 領域最具影響力的產業新媒體
訪問三文娛網站3wyu.com查看產業必讀文章
想低調地秀了一把iPhone X嗎？就用Animoji表情吧
本文作者：韓雪
前段時間朋友圈出現了幾段3D動物頭像的小視頻， 那時筆者好奇地找了找這什麼軟體做的， 哦Animoji——哦iPhone X——才知道這是個暗戳戳秀蘋果新機的好手段嘛。
用戶選擇iPhoneX自帶的不同表情包， 動物、外星人甚至是大便等等角色， 打開手機前置攝像自拍一段視頻， 麥克風同步記錄聲音， 生成可愛的Animoji動畫表情。 最後用 iMessage與朋友分享這段Animoji表情， 或者錄製成視頻發佈到社交軟體上， 就低調地秀了一把iPhone X啦！
但Animoji可不只是這麼一個小小的玩物……
圖1 風靡朋友圈的Animoji
一、Animoji的重要元件——深感攝像
iPhoneX的諜照洩露時， 誰也不會相信蘋果真的會做出這樣一款帶著醜醜劉海的手機。 不過裡面的幾樣小細節卻是iPhone X超越iPhone8的核心元件。
Infrared camera 紅外攝像頭：捕獲紅外圖像中面部點陣資料。
Flood illuminator泛光感應元件：發射不可見紅外光， 讓紅外鏡頭順利捕捉面部點陣圖案。
Proximity Sensor 距離感應器：打電話時自動息屏， 或防止手機被收納起時被手勢喚醒等。
Ambient light sensor 環境光感測器：根據環境光自動調節手機亮度和色溫。
Dot project 點陣投影器：投射數量大於三萬的光點， 方便鏡頭捕獲面部資料。
圖2 iPhone X的黑色劉海
iPhone X的這款黑色劉海， 搭載A11仿生神經元系統， 組成了iPhone X的原深感攝像系統（True Depth camera system）。 它的工作程式大致是這樣：
點陣投影器將肉眼不可見的30000多個光點投影在人的面部， 泛光感應元件發射出同樣不可見的紅外光線， 配合光點， 方便紅外鏡頭讀取點陣圖案， 捕捉紅外圖像。 這一過程即使在黑暗中也可完成。 最後資料被交給A11仿生神經元晶片進行處理。
圖3 超過三萬光點構成了立體網格
值得注意的是， 蘋果的原深感攝像系統讀取的並不是傳統的2D平面資料， 而是具有深度、完全立體的人體面部構造的3D模型資料；同時， 超過三萬的光點網格對面部的細部勾勒， 使得還原後的人臉更加精細逼真。 當面部表情發生變化時，
因為是紅外成像， 用戶所在環境的明暗不影響它的使用。 但只支援讀取一個人的面部資料， 也就是說， iPhone X目前無法處理同時入鏡的兩個及多個的人物面部資料。
圖4 iPhone X處理的是三維人臉
3D面部資料的龐大， 對iPhone X的資料處理能力提出了更高的要求——iPhone X所配備的A11仿生神經元晶片擁有六個核心和 43 億個電晶體， 其中的神經網路引擎採用雙核設計， 每秒運算次數最高可達 6000 億次， 完全勝任對使用者面部資料的讀取、分析和重建， 使得還原後的人體面部三維圖像更加逼真流暢； 另外， 用戶面部隨著時間推移而發生改變時， A11的機器學習技術使得 iPhone X能夠自我調整用戶的面孔。
圖5 《霍比特人2》中的面部和動作捕捉技術
用面部小點作為標記，説明光學系統追蹤面部和身體的動作變化，最終類比三維動態效果——這種面部和動作捕捉系統，早就在電影中實現了。卷福在《霍比特人2》中扮演惡龍史矛革的這段，面部資料和動作資訊的捕捉就是通過三維點陣完成的。蘋果則是將這種面部資料的捕捉真正應用到了智慧手機上，並且精確度極高。
圖6 精密的3D人臉資料大大降低手機解鎖失誤率
基於原深感攝像系統的iPhone X實現了Face ID的面部識別功能——用戶可以通過刷臉來解鎖手機。原深感攝像系統會讀取使用者獨一無二的3D臉部結構圖，並將它與被保護在 A11 仿生安全隔區中的機主的3D面部資料進行對比，如果兩者一致，iPhone X 便會解鎖。
基於A11仿生神經元引擎的及其學習能力，即使是用戶化妝活著留起鬍鬚，iPhone X也可以迅速識別。出於安全考慮，蘋果公司還增加了注視感知功能，只有用戶在睜眼注視iPhone X的時候它才會解鎖；在使用者閱讀手機內容時自動打開通知和資訊，並保持螢幕常亮。蘋果發佈會上公佈的Face ID失誤率，是一百萬分之一，相比指紋識別失誤率的五萬分之一，安全係數更高。
圖7 Face ID惹爭議
雖說曾有雙胞胎可平滑解鎖對方手機的測試，最近又出現了沒有血緣關係的同事也可以解鎖iPhone X怒而退貨的事件，更有一家越南公司利用3D列印的矽膠面具成功騙過了iPhone X的人臉識別系統……這樣看來，似乎人臉識別的技術還沒有到達萬無一失的地步，但相信未來技術發展必然會解決這個遺留問題。
二、Animoji的關鍵技術——AR
提起面部捕捉，就必須得提起蘋果早些年的幾次收購了，花大手筆買下了3D感測器製造商 PrimeSense、圖像識別公司 Perceptio、增強現實公司Metaio和運動捕捉技術公司Faceshift。
其中，PrimeSense公司率先利用紅外攝像捕捉投射在具體場景上的紅外點格，並用一個經過特殊處理的晶片來計算紅外點格的深度資料，完成了對原場景的3D處理。
圖8 最初的AR技術
因而大發展到2017年，iPhoneX最終將這種增強現實技術（Augmented Reality也稱AR技術）成功應用於量產的智慧手機，也是自然而然。而且增強現實技術AR不像虛擬實境技術Virtual Reality（人稱VR）一樣受制於複雜的硬體設備而推進緩慢。AR的發展目前一直在加速。Animoji本身的成功應用就已經印證了AR技術的高速發展。
對此，也有用戶質疑，Animoji究竟是不是iPhone X獨有功能？因為有用戶嘗試蓋上“劉海”上面的其他部分，只留下前置鏡頭，Animoji也一樣工作；但是，如果蓋上了前置鏡頭，它就會停止。
所以結論就是Animoji其實並不需要iPhone X黑色劉海裡的所謂“重要原件”？ iPhone 8配置Animoji和iPhone X配置的Animoji的效果沒啥兩樣？？
圖9 Animoji中狐狸頭像的動態效果
蘋果對此做出了官方回應，整個紅外光線面部標記的系統並不是全程處於開啟狀態。它是在在每次Animoji啟用時，繪製分析和更新使用者面部資料，然後使用前置攝像頭即時跟蹤用戶的面部運動，並轉化為相應的Animoji表情。
所以開啟Animoji一會後再蓋上“紅外鏡頭”，當然可以繼續使用啦，只是長此已久的動畫效果會表現不佳。還有，相應的iPhone 8並未配置原深感攝像系統，也無法更精准地描繪和識別人臉，所以自然不會有iPhone X的體驗
而iPhone X具有了領先的AR技術，自然比一般手機更加適應那些需要AR技術的軟體。比如Snapchat的照片分享，之前一直有很受歡迎的面部匹配濾鏡功能。蘋果宣佈與它建立合作夥伴關係後，Snapchat通過原深感攝像技術抓取到更加精准的使用者面部資料，軟體中的小貼紙也會根據3D面部資料進行調整和適應，表現的更加立體和流暢，而不是像普通手機那樣呆板地貼在人臉上。
圖10 iPhone X中使用Snapchat的效果
這裡需要說明的一點是，iPhone X使用的AR技術不同於目前市面上的許多圖像美化軟體的技術。
女性用戶一定記得被B612和FaceU刷屏的朋友圈照片，這兩個軟體主要是通過前置攝像頭對人臉進行識別，添加一些表情和貼紙，如兔耳朵、墨鏡或者一隻小貓咪，完成對照片或者視頻的即時美化；男性用戶肯定知道遊戲直播中常用的Face Rig，做工要更精細些。
總而言之，它們的技術基本立足於2D建模，依託簡單的前置攝像頭和平面圖像，並沒有iPhone X那麼多的性能元件。比如FaceU在今年6月份推出的人臉表情製作工具，將用戶的2D自拍畫面轉換為虛擬3D角色。但使用者所扮演的虛擬角色的3D模型，其實是已經預設好的。
圖11 大眼和吐彩虹的表情效果較為平面化
所以表現效果當然是比iPhone X要差。最明顯的就是在處理人面部的動態貼紙上，基於普通手機的FaceU不能像Snapchat 的面部美化工具那樣，對立體人臉進行自我調整和調試，像面具一樣緊密貼在人臉上。
基於iPhone X的原深感攝像系統，數以萬計的紅外光點組成面部的立體網格使得捕捉到的3D人臉資料更清晰立體， A11仿生神經元引擎的分析和重建3D模型更加精准，最終成像效果也就更生動逼真，表情動作也更加流暢。
圖12 FaceU首頁展示的臉部2D平面貼紙
FaceU所追求的一張照片速成3D圖像，正是iPhone X所極力避免的。你的一張照片可以在FaceU裡可以成型為你的立體面孔 ，但你的一張照片並不能解鎖你的iPhone X。
另外，知名分析師郭明琪稱蘋果公司因原深感攝像技術的掣肘，已經打算放緩iPhone X的產量。不過這也不要緊，業內普遍認為安卓手機想要追上蘋果的面部識別和捕捉技術，複刻相同的用戶體驗，同時攻克量產困難的問題，也還需要兩年。
三、Animoji的開發工具——ARKit
不只是蘋果在發展AR技術，遊戲Pokémon Go中AR就已經得到了成功應用，Adobe公司也推出了Adobe Character Animator 和Realallusion’s Crazytalk這樣的AR處理軟體。Facebook的CEO紮克伯格還意圖將AR作為Facebook十年發展計畫的重中之重。
圖13 介紹AR開發工具ARKit
蘋果當然不甘示弱。在全球開發者大會上，蘋果公佈了iPhone和iPad開發AR應用的軟體發展工具ARKit，方便開發者們為iOS設備開發出新的AR應用。開發者可以通過這個開發工具獲取到做Animoji時所讀取的人類面部網格資料。庫克稱它為“最大的AR平臺”。
不光應用開發者可以用，其實普通用戶也可以用以提取自己的面部資料。來自臺灣的視覺特效專家Elisha Hung就用ARKit抓取了自己的面部資料，再利用Python和Houdini將其轉化成一個常規可編輯的3D檔。雖然他的視頻下方有一些關於怎麼做的疑問，整個的製作過程也不甚明晰。但關鍵在於，他的作品演示說明iPhone X完全可以作為用戶自己的表演抓取工具。
圖14
圖15 臺灣的Elisha Hung抓取和分析面部資料
iPhone X黑色劉海上搭載的原深感攝像系統，並非什麼突破性技術，但鑒於它對AR技術的成功應用和它所面向的龐大用戶群體來說，無疑是一個強有力的“革命信號”——普通的手機用戶不用像以往一樣坐在電影院裡，看AR技術做出的動態畫面，只做一名被動觀眾。他們完全可以是AR技術的使用者，利用AR技術來設計出獨一無二的角色。
目前網路上利用Animoji重現經典電影片段的視頻十分火爆，僅僅只是冰山一角，更多利用ARKit開發完成的新應用才剛剛登場。比如你可以讓iPhone X教你跳舞，打開名為Dancing Reality應用，通過 iPhone 的螢幕投射出的腳印和步法勤加練習。你也可以用iPhone X作為測量工具，在沒帶尺子的時候打開名為AR Measure的應用，實地測量你需要的物件，準確度並不會比真正的測量工具差多少……
圖16 AR測量工具
一個製作面部表情動畫的Animoji，是AR技術一次成功的應用，也是ARKit平臺的踏出的最初一步。它似乎預兆著一個全新AR時代的到來。
圖5 《霍比特人2》中的面部和動作捕捉技術
用面部小點作為標記，説明光學系統追蹤面部和身體的動作變化，最終類比三維動態效果——這種面部和動作捕捉系統，早就在電影中實現了。卷福在《霍比特人2》中扮演惡龍史矛革的這段，面部資料和動作資訊的捕捉就是通過三維點陣完成的。蘋果則是將這種面部資料的捕捉真正應用到了智慧手機上，並且精確度極高。
圖6 精密的3D人臉資料大大降低手機解鎖失誤率
基於原深感攝像系統的iPhone X實現了Face ID的面部識別功能——用戶可以通過刷臉來解鎖手機。原深感攝像系統會讀取使用者獨一無二的3D臉部結構圖，並將它與被保護在 A11 仿生安全隔區中的機主的3D面部資料進行對比，如果兩者一致，iPhone X 便會解鎖。
基於A11仿生神經元引擎的及其學習能力，即使是用戶化妝活著留起鬍鬚，iPhone X也可以迅速識別。出於安全考慮，蘋果公司還增加了注視感知功能，只有用戶在睜眼注視iPhone X的時候它才會解鎖；在使用者閱讀手機內容時自動打開通知和資訊，並保持螢幕常亮。蘋果發佈會上公佈的Face ID失誤率，是一百萬分之一，相比指紋識別失誤率的五萬分之一，安全係數更高。
圖7 Face ID惹爭議
雖說曾有雙胞胎可平滑解鎖對方手機的測試，最近又出現了沒有血緣關係的同事也可以解鎖iPhone X怒而退貨的事件，更有一家越南公司利用3D列印的矽膠面具成功騙過了iPhone X的人臉識別系統……這樣看來，似乎人臉識別的技術還沒有到達萬無一失的地步，但相信未來技術發展必然會解決這個遺留問題。
二、Animoji的關鍵技術——AR
提起面部捕捉，就必須得提起蘋果早些年的幾次收購了，花大手筆買下了3D感測器製造商 PrimeSense、圖像識別公司 Perceptio、增強現實公司Metaio和運動捕捉技術公司Faceshift。
其中，PrimeSense公司率先利用紅外攝像捕捉投射在具體場景上的紅外點格，並用一個經過特殊處理的晶片來計算紅外點格的深度資料，完成了對原場景的3D處理。
圖8 最初的AR技術
因而大發展到2017年，iPhoneX最終將這種增強現實技術（Augmented Reality也稱AR技術）成功應用於量產的智慧手機，也是自然而然。而且增強現實技術AR不像虛擬實境技術Virtual Reality（人稱VR）一樣受制於複雜的硬體設備而推進緩慢。AR的發展目前一直在加速。Animoji本身的成功應用就已經印證了AR技術的高速發展。
對此，也有用戶質疑，Animoji究竟是不是iPhone X獨有功能？因為有用戶嘗試蓋上“劉海”上面的其他部分，只留下前置鏡頭，Animoji也一樣工作；但是，如果蓋上了前置鏡頭，它就會停止。
所以結論就是Animoji其實並不需要iPhone X黑色劉海裡的所謂“重要原件”？ iPhone 8配置Animoji和iPhone X配置的Animoji的效果沒啥兩樣？？
圖9 Animoji中狐狸頭像的動態效果
蘋果對此做出了官方回應，整個紅外光線面部標記的系統並不是全程處於開啟狀態。它是在在每次Animoji啟用時，繪製分析和更新使用者面部資料，然後使用前置攝像頭即時跟蹤用戶的面部運動，並轉化為相應的Animoji表情。
所以開啟Animoji一會後再蓋上“紅外鏡頭”，當然可以繼續使用啦，只是長此已久的動畫效果會表現不佳。還有，相應的iPhone 8並未配置原深感攝像系統，也無法更精准地描繪和識別人臉，所以自然不會有iPhone X的體驗
而iPhone X具有了領先的AR技術，自然比一般手機更加適應那些需要AR技術的軟體。比如Snapchat的照片分享，之前一直有很受歡迎的面部匹配濾鏡功能。蘋果宣佈與它建立合作夥伴關係後，Snapchat通過原深感攝像技術抓取到更加精准的使用者面部資料，軟體中的小貼紙也會根據3D面部資料進行調整和適應，表現的更加立體和流暢，而不是像普通手機那樣呆板地貼在人臉上。
圖10 iPhone X中使用Snapchat的效果
這裡需要說明的一點是，iPhone X使用的AR技術不同於目前市面上的許多圖像美化軟體的技術。
女性用戶一定記得被B612和FaceU刷屏的朋友圈照片，這兩個軟體主要是通過前置攝像頭對人臉進行識別，添加一些表情和貼紙，如兔耳朵、墨鏡或者一隻小貓咪，完成對照片或者視頻的即時美化；男性用戶肯定知道遊戲直播中常用的Face Rig，做工要更精細些。
總而言之，它們的技術基本立足於2D建模，依託簡單的前置攝像頭和平面圖像，並沒有iPhone X那麼多的性能元件。比如FaceU在今年6月份推出的人臉表情製作工具，將用戶的2D自拍畫面轉換為虛擬3D角色。但使用者所扮演的虛擬角色的3D模型，其實是已經預設好的。
圖11 大眼和吐彩虹的表情效果較為平面化
所以表現效果當然是比iPhone X要差。最明顯的就是在處理人面部的動態貼紙上，基於普通手機的FaceU不能像Snapchat 的面部美化工具那樣，對立體人臉進行自我調整和調試，像面具一樣緊密貼在人臉上。
基於iPhone X的原深感攝像系統，數以萬計的紅外光點組成面部的立體網格使得捕捉到的3D人臉資料更清晰立體， A11仿生神經元引擎的分析和重建3D模型更加精准，最終成像效果也就更生動逼真，表情動作也更加流暢。
圖12 FaceU首頁展示的臉部2D平面貼紙
FaceU所追求的一張照片速成3D圖像，正是iPhone X所極力避免的。你的一張照片可以在FaceU裡可以成型為你的立體面孔 ，但你的一張照片並不能解鎖你的iPhone X。
另外，知名分析師郭明琪稱蘋果公司因原深感攝像技術的掣肘，已經打算放緩iPhone X的產量。不過這也不要緊，業內普遍認為安卓手機想要追上蘋果的面部識別和捕捉技術，複刻相同的用戶體驗，同時攻克量產困難的問題，也還需要兩年。
三、Animoji的開發工具——ARKit
不只是蘋果在發展AR技術，遊戲Pokémon Go中AR就已經得到了成功應用，Adobe公司也推出了Adobe Character Animator 和Realallusion’s Crazytalk這樣的AR處理軟體。Facebook的CEO紮克伯格還意圖將AR作為Facebook十年發展計畫的重中之重。
圖13 介紹AR開發工具ARKit
蘋果當然不甘示弱。在全球開發者大會上，蘋果公佈了iPhone和iPad開發AR應用的軟體發展工具ARKit，方便開發者們為iOS設備開發出新的AR應用。開發者可以通過這個開發工具獲取到做Animoji時所讀取的人類面部網格資料。庫克稱它為“最大的AR平臺”。
不光應用開發者可以用，其實普通用戶也可以用以提取自己的面部資料。來自臺灣的視覺特效專家Elisha Hung就用ARKit抓取了自己的面部資料，再利用Python和Houdini將其轉化成一個常規可編輯的3D檔。雖然他的視頻下方有一些關於怎麼做的疑問，整個的製作過程也不甚明晰。但關鍵在於，他的作品演示說明iPhone X完全可以作為用戶自己的表演抓取工具。
圖14
圖15 臺灣的Elisha Hung抓取和分析面部資料
iPhone X黑色劉海上搭載的原深感攝像系統，並非什麼突破性技術，但鑒於它對AR技術的成功應用和它所面向的龐大用戶群體來說，無疑是一個強有力的“革命信號”——普通的手機用戶不用像以往一樣坐在電影院裡，看AR技術做出的動態畫面，只做一名被動觀眾。他們完全可以是AR技術的使用者，利用AR技術來設計出獨一無二的角色。
目前網路上利用Animoji重現經典電影片段的視頻十分火爆，僅僅只是冰山一角，更多利用ARKit開發完成的新應用才剛剛登場。比如你可以讓iPhone X教你跳舞，打開名為Dancing Reality應用，通過 iPhone 的螢幕投射出的腳印和步法勤加練習。你也可以用iPhone X作為測量工具，在沒帶尺子的時候打開名為AR Measure的應用，實地測量你需要的物件，準確度並不會比真正的測量工具差多少……
圖16 AR測量工具
一個製作面部表情動畫的Animoji，是AR技術一次成功的應用，也是ARKit平臺的踏出的最初一步。它似乎預兆著一個全新AR時代的到來。