演講實錄丨於海斌：機器人智慧技術與測評體系發展
2017全球人工智慧技術大會
2017年5月21日
國家會議中心4層大會堂B
本文根據速記進行整理
機器人智慧技術與測評體系發展
於海斌
中國科學院瀋陽自動化研究所所長
于海斌：本來大會給我的題目，
剛才李院士講到圖靈測試的問題，我也有很多的感觸。第一，我先說從自動化到智慧化，以機器人為背景；第二，講講機器人的測評要素和測評的重點；第三，給大家介紹一些基本的現狀，機器人現在從全球的測評角度都有哪些機構在做，做哪些事情，哪些能做，哪些不能做，哪些和智慧有關係，哪些還會繼續往下做。第四部分原來寫的是展望，後來就寫成機器人智慧能力到底怎麼測評，
第一個，機器人從自動化走向智慧化。我覺得傳統的機器人，早期的時候，19世紀是一個自動化的機器，但是你說它有沒有智慧，我覺得多多少少有一些，因為它有感知的能力。因為早期的自動化和搞人工智慧是分不開的，實際上原來搞人工智慧的好幾個大家，和搞自動化維納等都是在一起工作的。
剛才大家講到的都是從軟體的角度，從資訊的角度談智慧的問題，我覺得以機械和機電為載體的機器確是有非常廣泛的應用前景，但是未來可能還有另一條路也是我們需要認真考慮的，就是我們為什麼一定要自己去造一個像生物體那樣智慧的機電系統，而不是直接實現生物技術和機電系統的嫁接。單獨依靠資訊技術，實現與人能力相當的智慧，這個難度相當大，而且我們讀書的時候就講有很大的難度，我覺得這些困難並沒有從根本上解決掉。現在的技術發展，生物體的肌電信號應用，就是生物信號和機電信號的融合，是不是會產生這種智慧的路徑。最近我們在做一件事，我們能夠把蝙蝠下眼窩下的蛋白取出來，做成視覺系統，它具有高靈感度探測的能力，但是生物體蛋白如何做離體保持，也是一個新的問題，但顯然這是一個非常重要的方向。另一方面，我們在生物體和人相互緊密融合協同方面也是一個非常重要的方向，譬如人工外骨骼系統。所以我講，從廣義的智慧角度還是有跨學科的問題。機器人與人工智慧呢，我們現在理解，如果大家講的都是資訊技術體系，需要較深的技術基礎，從機器人用戶的角度來講，他只要理解，我怎麼樣讓機器人更多地理解語言，能夠對圖像識別的能力更強，這是最直接的想法和需求。具體來講，這些東西也在各個演示會上，各個技術推進的會上有所展示。實際上現有這些成果，我覺得大部分就是這些直白想法的體現，我不一一贅述了。
要從體系上來推動機器人的智慧化，應該說還是有很多單元技術需要解決的，最核心的是交互能力，人和機器人的交互能力迫切需要得到巨大提升，如果這個能力不能得到提升，人工智慧在機器的應用就會變得很局部，也就是說除了人工的腦以外，其實在人機交互方面，行為能力的提升，也是有巨大的空間。第二個就是群體智慧也是我們必須關注的問題，這是從體系上來講，像機器人的多模態的交互，在工業領域，國外的規劃已經有明確的路線圖了，大概在未來10年左右的情況下，工業機器人的多模態語言的交互，會使得機器人的程式設計和機器人的應用會形成一個快速部署的能力，使得原來工程師程式設計，變成一般人員的意圖表達，可以直接實現的歷史新階段。大家想一想，如果一個工業機器人不用訓練有素工程師佈局，將來的製造完全可以做到線上重構的程度。比如現在造手機，有人跟我說，一款新手機的生命週期10幾個月，但是複雜手機的生產線，工程師的調試就需要消耗一兩個月的時間。機器人自主決策和群體智慧，比如說做一個機器系統，單體的系統你要做的功能很強大，成本要很高，群體的可以做到低成本，在各個方面有很大的需求。所以無人系統在中國現在也是比較關心的事情，我這裡只是簡單介紹一下情況。
另一方面，我今天的題目有兩個主題詞，一個是測評，一個是智慧。機器人技術的要素和測評的要點，大家可能不瞭解測評是怎麼回事，其實你要測誰，就得知道它是幹什麼的，我們想機器人比較複雜，測評的事比較多。我挑出和智慧有關係的兩大方面，值得大家關注。如果想維持這個行業健康發展，如果沒有標準，沒有測評，是很難形成規範產業的。第一個是機器人性能方面的測試，我挑出和智慧相關度高的，第一個是自主決策與功能的性能，不是自動決策，是自主決策，第二智慧感知性能，還有第三智慧交互性能，第四是智慧控制與作業性能。機器人的安全，包括功能安全，機械與電氣安全，資訊安全等。這個領域原來是工業界，就是OT領域人做的事，另一方面，安全（security），因為英語不一樣，我們叫安防，防止被攻擊的能力，這是IT的人在做。如何實現IT的智慧和OT的物理系統真正融合，首先這兩個領域的文化完全不一樣，現在整個業界都說這件事，另一個，他們考慮的焦點也不一樣，但是這個安全如果是廣義的安全，在智慧驅動下的廣義安全，一定是IT、OT綜合的情況，這樣的安全如何體現，比如對機器人來說，我們將來設計機器人的時候，在設計的時候就有運動範圍的要求，在加裝感測器的時候，對它分散式的安全功能進行設計，而不是說像原來自動停下來；譬如像做一個抓取的機械手，如果抓取一個瓶子，它操作力大瓶子就抓碎了，現在利用感測器做成一個柔順的操作，不會出現那樣的情況了。所以關於安全的問題，確實由IT、OT引發，在人工智慧上變得更為複雜，是需要我們關注的事情。自主決策與規劃性能，自助行為的概念，現在全球有一個自主能力的分級，但是這個說起來好聽，可操作性、可實施性都比較差，比如剛才說的自動駕駛的車，如果做一個標準可測試規則的話，很難取得一致，會有很大的異議。這兩者間有相似之處。所以對自主決策方面，我們在最底層的導航，技術上可以用技術指標說明的，反倒在自主決策的測評上是有巨大的挑戰的，這是一個實際的情況。第二個是智慧感知性能，機器人的技術進步，在近三到五年，最大的在於視覺的進步，這是最有現實意義的進步，因為原來的視覺感測器就有一些應用，在這些情況下如何做認知，僅僅就視覺就有很多的挑戰，我不再說了。最核心的是交互的能力，我們原來讓機器人學習，靠什麼學習？是在一個離線的空間裡採用示教的方式，如果教機器人拆解一個未知的發動機，一種辦法，我精確告訴它的次序、位置等一切物理量，這是不可能的。另外一種方法，就是經過互動式學習，如果這個技術沒有大量感測器配合的話也不可能，所以這是一個動態的學習環境，有挑戰性，當然這方面有一些標準需要討論，我相信如果和物理實踐相結合，至少時間和空間兩個維度，引發的一系列事情，就變得十分複雜了。第四個是智慧控制與作業性能的考慮，應該說我們現在大量的外部感測器加進來了，現在講新一代的機器人，其實大家想的代表性的是三類東西，一個是柔性的機械臂，一個是移動可作業的機械臂，一個是多臂可協調的能力，大量的是操作能力的提升。
關於機器人的安全講過了，傳統的是機電的安全。關於機器人安全，現在沒有一個在新體系下滿足的要求。關於服務機器人的智慧交互安全，現在剛剛有它的基本討論，沒有可操作的東西。一個是功能性能，一個和安全相關的，是和智慧型機器人綁定比較緊的。下一個問題，機器人測評有哪些技術？現在誰在做？做到了什麼程度？第一個，機器人的測評一般包括四個方面：要想能夠讓大家認可，首先得有一個標準。第二個，檢測得有一套技術手段。第三認證得有一些機構或者有社會的認可度。像手機的安全檢測，就是由有社會認可度公司完成。第四個就是評估，評估的意思是一個挺高級的階段，你做出來一個東西，在我這測出來以後，做了資料的評估，是給你再改進提出一個評估報告或者改進報告。我在想，我們現在評測也產生了大量的資料，這些資料怎麼用智慧的辦法給大家提出一些知識和建議，也是一個題目。假如說有這套東西，我這個諮詢也能變成一個很大的產業。
國家關於機器人標準化，現在有好幾個相關的技術委員會，最後把大家放到一起作為一個總體的工作組，目的是加強和國際的交流，和標準體系的建設。我們所有幸國標委選為秘書處單位。這兩年做的工作，我們現在在IEC和ISO之間建立了橋樑，成立了工作組，專門研究全球機器人標準的重疊問題、空白問題和佈局的問題。為此我們提出了標準體系表徵的架構，已被被工作組採納。另一方面，國際服務機器人的標準的情況，ISO是TC299，在這方面做了很多概念詞彙的描述，但是可用可測的東西還不多。IEC是較傳統標準組織結構，就是把它的技術分散在各個技術委員會，所以除了兩大標準體系有衝突以外，各TC間也有重疊的問題，譬如在大家關心的護理機器人，也就是服務機器人的安全，就是關注的熱點。國際機器人的檢測情況是這樣，三大機構，大家得關心一下，真要變成產品他們是有說服力的，一個是德國的萊茵Tuv，美國是UL，英國是天祥，中國未來是CR。他們測試的內容，主要還是將機器人當成機電產品測試的，因為這些東西是成熟的。國內的情況是，2015年國家質檢總局開始佈局機器人檢測中心，到2017年國家已經發佈了推進機器人檢測認真體系的意見。進行這麼多年，大家已經認可這件事情了。關於國家機器人檢測評定中心，國內按大的區域有五六各單位，包括四個中心，兩個平臺。
我介紹一下遼寧中心的建設情況，一個是機器人的整機制測試能力基本建立起來了，機器人的核心零部件的測試也建立起來了。工業機器人的測試，關於性能、安全、可靠性，和服務機器人性能、安全可靠性，都是按照國際標準建立起來了，硬體方面已經不錯了，未來希望在測試能力上有所提升。關於工業機器人上我們現在可以做標定，還有軌跡特徵測試也可以做。服務機器人的測評已經可以做越障能力、覆蓋率的要求，這是幾款不同的，現在國家委託我們做的，像掃地機器人，做覆蓋率的測試，這些測試還是挺有意義的事，至少能對產業規範起到一定作用。我個人認為，除了有測試條件以外，更多後面的規範管理，你能做出什麼樣的測試誠信度，讓行業認可。
最後做一點小的展望，是關於機器人能力的測評怎麼體現的問題，不一定對，也不成熟，供大家參考。第一個，你研發智慧型機器人一般沒有異議，但如何測評就難了。第一個，測評的過程要不要智慧化，現在提不到這個層面，很多有人為的因素在裡面。第二個，測評以後的資料做評估的時候要不要智慧化，我說絕對要的，大家如果真的有興趣做，可以做很好的服務業，我們測了那麼多資料，最後代表的含義和給用戶的升級的建議，現在沒有人做的很好，也沒有人考慮這件事，我相信這是一個非常好的發展方向，實際上這是一個社會諮詢的功能。第二個我們機器人有了智慧能力以後，怎麼評測機器人的智慧能力，這個事太難了。大家想一想，我們進入到可程式設計電子器件的時候，它測試集有沒有覆蓋性已經很難了。如果測了一大堆，沒有遍歷性，你敢說這個事行或不行嗎，所以很多人研究，我測試的案例具有覆蓋性，最小的時間有最大的覆蓋性這對測試是很重要的，另一個階段，今天到智慧階段怎麼測，可能是兩個路在探討。第一個情況，就像剛才設定不同的層級，你的智慧在不同的層級，我覺得圖靈測試是測試是不是具有人那樣的智慧的盲測，但是要不要有等級，說它的智力水準在5歲、8歲，但是我們和搞生物智慧的人討論，5歲的表徵是什麼，8歲的表徵是什麼，不知道，怎麼樣技術化、定性化描述，就更難了。還有一種測評方法是對抗式的，在這些領域稍微好一些。像李院士的自動駕駛車，你要認證完了，那後面的就有赫達的責任，這個體系是一個真的挑戰，誰要能做這樣的認證，對推動這個行業是非常重要的一件事情。既有研究的內容，又有一個商業推動的價值，但是我個人感覺，現在做等級分類的可能性還是存在的，只是要局限於某個領域。院士講的駕駛腦，其實最後這個特徵就是在駕駛領域是專家，其他的先不涉及，人腦功能的全覆蓋還遠著呢，但是對駕駛腦而言，還具有人腦的學習，記憶，這些一些基本的特徵，我覺得對人工智慧是一個巨大的進步，也對無人駕駛汽車也是一個巨大的進步，所以現在想這些事也是有挑戰性的。譬如，我們可以先從一些家庭陪護的玩具，可以作為優先考慮的領域，避免不必要的風險。我們覺得機器人測評技術的發展和智慧有關的，我們要關注的是，智慧交互性能與安全評測，資訊安全的評測，智慧水準的評測，可靠性的評測，除了智慧水準的評測是處☆禁☆女地，其他的都有一些結果。除了可程式設計，又加了智慧，可以組成新的案例出來，對我們的挑戰更大了。
總而言之，我們現在的想法，是沿著等級的路在走，對複雜問題做好簡化處理。因為研究是研究，可實現是可實現。美國有一機器人路線圖，既然它說過，我相信就有一定的道理，近期我們準備集中精力把這個事搞清楚，我相信機器人的自主能力··如果搞清楚了，我們再跟車結合就有了基礎。另一方面，關於機器人的智慧的能力，美國人的機器人路線圖裡，乾脆到相當於幾歲的智力，但10歲的水準， 10歲的水準怎麼表徵？況且10歲小孩的能力水準也不一樣，智力水準也不一樣。我們需要和開始搞生物學的人、搞倫理的學者一起討論這個事。希望能找到一個切入點，這件事是切合要求的，能發揮一點作用，對我們的促動也是有很大的幫助。
我的感覺，從測評的角度，對人工智慧的產業發展和規範，是重要意義的。另一方面，人工智慧對我們測評也有巨大的推動作用，因為這件事我們做了兩三年了。我們的目標是建成一流的機器人測評硬體環境，再用一到兩年的時間，在機器人的測評設計軟能力提升到國際水準，這幾年關注了這些事，並取得了初步的進展。謝謝大家。
CAAI原創 丨 作者于海斌
未經授權嚴禁轉載及翻譯
如需轉載合作請向學會或本人申請
轉發請注明轉自中國人工智慧學會
交叉、 融合、 相生 、 共贏
但是現在國內國外比較認可的，我們現有的人工智慧階段，有兩個基本的特徵，一個是人工智慧如果和機器綁定在一起，會帶來巨大的變革和效應，特別是美國總統的經濟報告裡，在去年的報告裡講到，因為機器人就是智慧和機器結合的結果，說機器人未來會像蒸汽機一樣影響工業的革命。另外一個角度，是人工智慧和人之間產生更多的共鳴和交互，就是人機融合，這應該是最高的階段。
剛才大家講到的都是從軟體的角度，從資訊的角度談智慧的問題，我覺得以機械和機電為載體的機器確是有非常廣泛的應用前景，但是未來可能還有另一條路也是我們需要認真考慮的，就是我們為什麼一定要自己去造一個像生物體那樣智慧的機電系統，而不是直接實現生物技術和機電系統的嫁接。單獨依靠資訊技術，實現與人能力相當的智慧，這個難度相當大，而且我們讀書的時候就講有很大的難度，我覺得這些困難並沒有從根本上解決掉。現在的技術發展，生物體的肌電信號應用，就是生物信號和機電信號的融合，是不是會產生這種智慧的路徑。最近我們在做一件事，我們能夠把蝙蝠下眼窩下的蛋白取出來，做成視覺系統，它具有高靈感度探測的能力，但是生物體蛋白如何做離體保持，也是一個新的問題，但顯然這是一個非常重要的方向。另一方面，我們在生物體和人相互緊密融合協同方面也是一個非常重要的方向，譬如人工外骨骼系統。所以我講，從廣義的智慧角度還是有跨學科的問題。機器人與人工智慧呢，我們現在理解，如果大家講的都是資訊技術體系，需要較深的技術基礎，從機器人用戶的角度來講，他只要理解，我怎麼樣讓機器人更多地理解語言，能夠對圖像識別的能力更強，這是最直接的想法和需求。具體來講，這些東西也在各個演示會上，各個技術推進的會上有所展示。實際上現有這些成果，我覺得大部分就是這些直白想法的體現，我不一一贅述了。
要從體系上來推動機器人的智慧化，應該說還是有很多單元技術需要解決的，最核心的是交互能力，人和機器人的交互能力迫切需要得到巨大提升，如果這個能力不能得到提升，人工智慧在機器的應用就會變得很局部，也就是說除了人工的腦以外，其實在人機交互方面，行為能力的提升，也是有巨大的空間。第二個就是群體智慧也是我們必須關注的問題，這是從體系上來講，像機器人的多模態的交互，在工業領域，國外的規劃已經有明確的路線圖了，大概在未來10年左右的情況下，工業機器人的多模態語言的交互，會使得機器人的程式設計和機器人的應用會形成一個快速部署的能力，使得原來工程師程式設計，變成一般人員的意圖表達，可以直接實現的歷史新階段。大家想一想，如果一個工業機器人不用訓練有素工程師佈局，將來的製造完全可以做到線上重構的程度。比如現在造手機，有人跟我說，一款新手機的生命週期10幾個月，但是複雜手機的生產線，工程師的調試就需要消耗一兩個月的時間。機器人自主決策和群體智慧，比如說做一個機器系統，單體的系統你要做的功能很強大，成本要很高，群體的可以做到低成本，在各個方面有很大的需求。所以無人系統在中國現在也是比較關心的事情，我這裡只是簡單介紹一下情況。
另一方面，我今天的題目有兩個主題詞，一個是測評，一個是智慧。機器人技術的要素和測評的要點，大家可能不瞭解測評是怎麼回事，其實你要測誰，就得知道它是幹什麼的，我們想機器人比較複雜，測評的事比較多。我挑出和智慧有關係的兩大方面，值得大家關注。如果想維持這個行業健康發展，如果沒有標準，沒有測評，是很難形成規範產業的。第一個是機器人性能方面的測試，我挑出和智慧相關度高的，第一個是自主決策與功能的性能，不是自動決策，是自主決策，第二智慧感知性能，還有第三智慧交互性能，第四是智慧控制與作業性能。機器人的安全，包括功能安全，機械與電氣安全，資訊安全等。這個領域原來是工業界，就是OT領域人做的事，另一方面，安全（security），因為英語不一樣，我們叫安防，防止被攻擊的能力，這是IT的人在做。如何實現IT的智慧和OT的物理系統真正融合，首先這兩個領域的文化完全不一樣，現在整個業界都說這件事，另一個，他們考慮的焦點也不一樣，但是這個安全如果是廣義的安全，在智慧驅動下的廣義安全，一定是IT、OT綜合的情況，這樣的安全如何體現，比如對機器人來說，我們將來設計機器人的時候，在設計的時候就有運動範圍的要求，在加裝感測器的時候，對它分散式的安全功能進行設計，而不是說像原來自動停下來；譬如像做一個抓取的機械手，如果抓取一個瓶子，它操作力大瓶子就抓碎了，現在利用感測器做成一個柔順的操作，不會出現那樣的情況了。所以關於安全的問題，確實由IT、OT引發，在人工智慧上變得更為複雜，是需要我們關注的事情。自主決策與規劃性能，自助行為的概念，現在全球有一個自主能力的分級，但是這個說起來好聽，可操作性、可實施性都比較差，比如剛才說的自動駕駛的車，如果做一個標準可測試規則的話，很難取得一致，會有很大的異議。這兩者間有相似之處。所以對自主決策方面，我們在最底層的導航，技術上可以用技術指標說明的，反倒在自主決策的測評上是有巨大的挑戰的，這是一個實際的情況。第二個是智慧感知性能，機器人的技術進步，在近三到五年，最大的在於視覺的進步，這是最有現實意義的進步，因為原來的視覺感測器就有一些應用，在這些情況下如何做認知，僅僅就視覺就有很多的挑戰，我不再說了。最核心的是交互的能力，我們原來讓機器人學習，靠什麼學習？是在一個離線的空間裡採用示教的方式，如果教機器人拆解一個未知的發動機，一種辦法，我精確告訴它的次序、位置等一切物理量，這是不可能的。另外一種方法，就是經過互動式學習，如果這個技術沒有大量感測器配合的話也不可能，所以這是一個動態的學習環境，有挑戰性，當然這方面有一些標準需要討論，我相信如果和物理實踐相結合，至少時間和空間兩個維度，引發的一系列事情，就變得十分複雜了。第四個是智慧控制與作業性能的考慮，應該說我們現在大量的外部感測器加進來了，現在講新一代的機器人，其實大家想的代表性的是三類東西，一個是柔性的機械臂，一個是移動可作業的機械臂，一個是多臂可協調的能力，大量的是操作能力的提升。
關於機器人的安全講過了，傳統的是機電的安全。關於機器人安全，現在沒有一個在新體系下滿足的要求。關於服務機器人的智慧交互安全，現在剛剛有它的基本討論，沒有可操作的東西。一個是功能性能，一個和安全相關的，是和智慧型機器人綁定比較緊的。下一個問題，機器人測評有哪些技術？現在誰在做？做到了什麼程度？第一個，機器人的測評一般包括四個方面：要想能夠讓大家認可，首先得有一個標準。第二個，檢測得有一套技術手段。第三認證得有一些機構或者有社會的認可度。像手機的安全檢測，就是由有社會認可度公司完成。第四個就是評估，評估的意思是一個挺高級的階段，你做出來一個東西，在我這測出來以後，做了資料的評估，是給你再改進提出一個評估報告或者改進報告。我在想，我們現在評測也產生了大量的資料，這些資料怎麼用智慧的辦法給大家提出一些知識和建議，也是一個題目。假如說有這套東西，我這個諮詢也能變成一個很大的產業。
國家關於機器人標準化，現在有好幾個相關的技術委員會，最後把大家放到一起作為一個總體的工作組，目的是加強和國際的交流，和標準體系的建設。我們所有幸國標委選為秘書處單位。這兩年做的工作，我們現在在IEC和ISO之間建立了橋樑，成立了工作組，專門研究全球機器人標準的重疊問題、空白問題和佈局的問題。為此我們提出了標準體系表徵的架構，已被被工作組採納。另一方面，國際服務機器人的標準的情況，ISO是TC299，在這方面做了很多概念詞彙的描述，但是可用可測的東西還不多。IEC是較傳統標準組織結構，就是把它的技術分散在各個技術委員會，所以除了兩大標準體系有衝突以外，各TC間也有重疊的問題，譬如在大家關心的護理機器人，也就是服務機器人的安全，就是關注的熱點。國際機器人的檢測情況是這樣，三大機構，大家得關心一下，真要變成產品他們是有說服力的，一個是德國的萊茵Tuv，美國是UL，英國是天祥，中國未來是CR。他們測試的內容，主要還是將機器人當成機電產品測試的，因為這些東西是成熟的。國內的情況是，2015年國家質檢總局開始佈局機器人檢測中心，到2017年國家已經發佈了推進機器人檢測認真體系的意見。進行這麼多年，大家已經認可這件事情了。關於國家機器人檢測評定中心，國內按大的區域有五六各單位，包括四個中心，兩個平臺。
我介紹一下遼寧中心的建設情況，一個是機器人的整機制測試能力基本建立起來了，機器人的核心零部件的測試也建立起來了。工業機器人的測試，關於性能、安全、可靠性，和服務機器人性能、安全可靠性，都是按照國際標準建立起來了，硬體方面已經不錯了，未來希望在測試能力上有所提升。關於工業機器人上我們現在可以做標定，還有軌跡特徵測試也可以做。服務機器人的測評已經可以做越障能力、覆蓋率的要求，這是幾款不同的，現在國家委託我們做的，像掃地機器人，做覆蓋率的測試，這些測試還是挺有意義的事，至少能對產業規範起到一定作用。我個人認為，除了有測試條件以外，更多後面的規範管理，你能做出什麼樣的測試誠信度，讓行業認可。
最後做一點小的展望，是關於機器人能力的測評怎麼體現的問題，不一定對，也不成熟，供大家參考。第一個，你研發智慧型機器人一般沒有異議，但如何測評就難了。第一個，測評的過程要不要智慧化，現在提不到這個層面，很多有人為的因素在裡面。第二個，測評以後的資料做評估的時候要不要智慧化，我說絕對要的，大家如果真的有興趣做，可以做很好的服務業，我們測了那麼多資料，最後代表的含義和給用戶的升級的建議，現在沒有人做的很好，也沒有人考慮這件事，我相信這是一個非常好的發展方向，實際上這是一個社會諮詢的功能。第二個我們機器人有了智慧能力以後，怎麼評測機器人的智慧能力，這個事太難了。大家想一想，我們進入到可程式設計電子器件的時候，它測試集有沒有覆蓋性已經很難了。如果測了一大堆，沒有遍歷性，你敢說這個事行或不行嗎，所以很多人研究，我測試的案例具有覆蓋性，最小的時間有最大的覆蓋性這對測試是很重要的，另一個階段，今天到智慧階段怎麼測，可能是兩個路在探討。第一個情況，就像剛才設定不同的層級，你的智慧在不同的層級，我覺得圖靈測試是測試是不是具有人那樣的智慧的盲測，但是要不要有等級，說它的智力水準在5歲、8歲，但是我們和搞生物智慧的人討論，5歲的表徵是什麼，8歲的表徵是什麼，不知道，怎麼樣技術化、定性化描述，就更難了。還有一種測評方法是對抗式的，在這些領域稍微好一些。像李院士的自動駕駛車，你要認證完了，那後面的就有赫達的責任，這個體系是一個真的挑戰，誰要能做這樣的認證，對推動這個行業是非常重要的一件事情。既有研究的內容，又有一個商業推動的價值，但是我個人感覺，現在做等級分類的可能性還是存在的，只是要局限於某個領域。院士講的駕駛腦，其實最後這個特徵就是在駕駛領域是專家，其他的先不涉及，人腦功能的全覆蓋還遠著呢，但是對駕駛腦而言，還具有人腦的學習，記憶，這些一些基本的特徵，我覺得對人工智慧是一個巨大的進步，也對無人駕駛汽車也是一個巨大的進步，所以現在想這些事也是有挑戰性的。譬如，我們可以先從一些家庭陪護的玩具，可以作為優先考慮的領域，避免不必要的風險。我們覺得機器人測評技術的發展和智慧有關的，我們要關注的是，智慧交互性能與安全評測，資訊安全的評測，智慧水準的評測，可靠性的評測，除了智慧水準的評測是處☆禁☆女地，其他的都有一些結果。除了可程式設計，又加了智慧，可以組成新的案例出來，對我們的挑戰更大了。
總而言之，我們現在的想法，是沿著等級的路在走，對複雜問題做好簡化處理。因為研究是研究，可實現是可實現。美國有一機器人路線圖，既然它說過，我相信就有一定的道理，近期我們準備集中精力把這個事搞清楚，我相信機器人的自主能力··如果搞清楚了，我們再跟車結合就有了基礎。另一方面，關於機器人的智慧的能力，美國人的機器人路線圖裡，乾脆到相當於幾歲的智力，但10歲的水準， 10歲的水準怎麼表徵？況且10歲小孩的能力水準也不一樣，智力水準也不一樣。我們需要和開始搞生物學的人、搞倫理的學者一起討論這個事。希望能找到一個切入點，這件事是切合要求的，能發揮一點作用，對我們的促動也是有很大的幫助。
我的感覺，從測評的角度，對人工智慧的產業發展和規範，是重要意義的。另一方面，人工智慧對我們測評也有巨大的推動作用，因為這件事我們做了兩三年了。我們的目標是建成一流的機器人測評硬體環境，再用一到兩年的時間，在機器人的測評設計軟能力提升到國際水準，這幾年關注了這些事，並取得了初步的進展。謝謝大家。
CAAI原創 丨 作者于海斌
未經授權嚴禁轉載及翻譯
如需轉載合作請向學會或本人申請
轉發請注明轉自中國人工智慧學會
交叉、 融合、 相生 、 共贏