「Science」羊臉識別診斷疼痛指數，機器學習捕捉動物面部表情

新智元報導

作為一隻羊，你的生活可沒看上去那麼輕鬆自在。

你會受傷、生病、感染，還無法告訴照顧你的人你處於傷痛之中。

為此，獸醫開發了一套規則，通過羊的面部表情評估一隻羊所遭受的痛楚。但是，這套規則對於一般人，或更具體的說，牧場相關人員而言，使用時經常出現評估結果不一的情況，

而且往往耗費時間。

在這裡，我們可以稍微體會一下，即便是專業人員（獸醫），要判斷綿羊疼痛水準是一件多麼困難的事情。

仔細看下麵的圖片，你能判斷得多準確呢？

更不要說真實情況綿羊還是會動的。

獸醫們已經想出了一個方法，根據羊的面部表情來評估其疼痛，

但這套方法沒有得到很好的貫徹，因為手動打分耗時耗力。根據Science的報導，英國劍橋大學的電腦科學家對這項任務進行了自動化。他們先列出了與不同程度的疼痛相關的幾個“面部動作單位”（AU），繪製了“羊痛面部表情量表”。他們在 480 張羊的照片上手動標記出這些 AU——鼻孔變形，每只耳朵的旋轉，瞳孔縮小程度等。然後，他們用 90% 的照片及其標籤來訓練機器學習演算法，並在剩餘的 10％ 上測試演算法。研究人員在華盛頓舉行的自動面部和手勢識別的 IEEE 國際會議上報告說，該項目在確定 AU 時的平均準確度為 67％，與人類的平均準確度相似，其中耳朵是最有指征意義的線索。調整訓練進程進一步提高了準確性。如果有其他的標籤圖像，科學家們期望他們的方法也可以用在其他動物身上，能夠更好地幫助它們診斷疼痛，進行更及時的治療。

以下是詳細報導：

綿羊面部表情識別系統，自動評估綿羊疼痛指數

英國劍橋大學的電腦科學家利用機器學習演算法，開發了一個能夠自動識別家羊面部表情的系統。實驗表明，該系統能以平均 67% 的準確率進行羊臉識別，和一般人水準相當。

相關論文日前在美國華盛頓特區召開的 IEEE 人臉和手勢自動識別國際會議（IEEE International Conference on Automatic Face and Gesture Recognition）發表。研究人員表示，有了更多的標注資料，他們的這套系統可以用於識別其他動物的面部表情，

加速動物疼痛診斷的過程。

自動疼痛評估系統的工作流程圖

研究人員首先根據“家羊面部表情疼痛指數表”（Sheep Pain Facial Expression Scale，SPFES）上顯示各級疼痛的圖像，製作了一組“面部動作單元”（facial action unit，AU）。

而後，他們手工對 480 張羊照片的這些 AU 進行標注——鼻孔變形大小、耳朵旋轉角度、瞳孔縮小程度。

研究人員根據 SPFES 手工標注的一些綿羊面部 AU 資料。

研究人員將這些資料的 90% 作為訓練資料，剩下 10% 作為測試資料，訓練了一個機器學習演算法。

最終得到的“綿羊面部表情自動識別系統”，識別 AU 的平均準確率為 67%，與一般人水準相當。

系統準確率與一般人相當，關鍵是耳朵張開的幅度

結果表明，判斷綿羊疼痛等級最有效的衡量指標是耳朵，更準確的說，是每只耳朵張開的幅度。

（左）面部地標定位，p1~ p8 標注出了每只綿羊面部的 8 個地標。（右）資料歸一化後的情況，相應地標用表示特徵的方框標注出來。

為了更好地說明情況，我們結合此前相關研究的圖像可以一探究竟。

下面兩張圖來自去年發表於 Elsevier 旗下期刊《動物行為應用科學》（Applied Animal Behavior Science）的一篇論文[1]。

由圖中可見，在不同種類的綿羊當中，疼痛時耳朵張開的角度基本保持一致。

論文介紹

使用面部動作單元檢測評估綿羊疼痛水準

摘要

評估動物的疼痛水準是維持動物福利的關鍵，但該過程十分耗費時間。羊的面部表情是有效評估其疼痛水準的可靠指標。在本文中，我們將識別人臉表情的技術擴展到識別綿羊的面部動作單元中，從而實現了根據羊臉表情自動評估綿羊的疼痛水準。我們的方法包含多個層次，首先對綿羊臉部進行檢測，定位面部地標（landmark），對資料歸一化（normallisation）後提取面部特徵。這些特徵用定向梯度的長條圖表示，然後使用支持向量機進行分類。實驗顯示，系統對綿羊面部動作單元（Action Unit）分類的總體準確度為67％。我們認為，如果有更多的資料，這一疼痛水準自動評估方法可以推廣應用於其他動物。

論文地址：http://www.cl.cam.ac.uk/~pr10/publications/fg17.pdf

參考資料

[1] C. Häger et. al., The Sheep Grimace Scale as an indicator of post-operative distress and pain in laboratory sheep. PLoS ONE 12(4):e0175839 · April 2017

[2] Corrigendum to “Development of a facial expression scale using footrot and mastitis as models of pain in sheep” [Appl. Anim. Behav. Sci. 176C (2016) 19–26] McLennan, Krista M. et al. Applied Animal Behaviour Science , Volume 179 , 105 - 107

研究人員根據 SPFES 手工標注的一些綿羊面部 AU 資料。

研究人員將這些資料的 90% 作為訓練資料，剩下 10% 作為測試資料，訓練了一個機器學習演算法。

最終得到的“綿羊面部表情自動識別系統”，識別 AU 的平均準確率為 67%，與一般人水準相當。

系統準確率與一般人相當，關鍵是耳朵張開的幅度

結果表明，判斷綿羊疼痛等級最有效的衡量指標是耳朵，更準確的說，是每只耳朵張開的幅度。

（左）面部地標定位，p1~ p8 標注出了每只綿羊面部的 8 個地標。（右）資料歸一化後的情況，相應地標用表示特徵的方框標注出來。

為了更好地說明情況，我們結合此前相關研究的圖像可以一探究竟。

下面兩張圖來自去年發表於 Elsevier 旗下期刊《動物行為應用科學》（Applied Animal Behavior Science）的一篇論文[1]。

由圖中可見，在不同種類的綿羊當中，疼痛時耳朵張開的角度基本保持一致。

論文介紹

使用面部動作單元檢測評估綿羊疼痛水準

摘要

評估動物的疼痛水準是維持動物福利的關鍵，但該過程十分耗費時間。羊的面部表情是有效評估其疼痛水準的可靠指標。在本文中，我們將識別人臉表情的技術擴展到識別綿羊的面部動作單元中，從而實現了根據羊臉表情自動評估綿羊的疼痛水準。我們的方法包含多個層次，首先對綿羊臉部進行檢測，定位面部地標（landmark），對資料歸一化（normallisation）後提取面部特徵。這些特徵用定向梯度的長條圖表示，然後使用支持向量機進行分類。實驗顯示，系統對綿羊面部動作單元（Action Unit）分類的總體準確度為67％。我們認為，如果有更多的資料，這一疼痛水準自動評估方法可以推廣應用於其他動物。

論文地址：http://www.cl.cam.ac.uk/~pr10/publications/fg17.pdf

參考資料

[1] C. Häger et. al., The Sheep Grimace Scale as an indicator of post-operative distress and pain in laboratory sheep. PLoS ONE 12(4):e0175839 · April 2017

[2] Corrigendum to “Development of a facial expression scale using footrot and mastitis as models of pain in sheep” [Appl. Anim. Behav. Sci. 176C (2016) 19–26] McLennan, Krista M. et al. Applied Animal Behaviour Science , Volume 179 , 105 - 107