在最近公布的國際權(quán)威人臉識別供應商測試 FRVT(Face Recognition Vendor Test)結(jié)果中，中國公司依圖科技獲得了四項測試的第一名，超過了俄羅斯公司 Vocord(Vocord 是國際老牌安防廠商，長久以來超越 Google 等公司盤踞人臉識別算法第一名)。

　　FRVT 是由美國國家標準技術(shù)局 NIST(National Institute of Standards and Technology) 組織的人臉識別供應商測試，作為美國國家采購的官方指導，其測試的權(quán)威性是全球工業(yè)界實際應用的黃金標準。

　　FRVT 的人臉識別測試集合來自美國國土安全局的真實業(yè)務場景，例如出入境、刑偵過程中收集的大量照片。與時下熱門的由學術(shù)機構(gòu)舉辦的 LFW、MegaFace 測試相比，F(xiàn)RVT 更貼近實戰(zhàn)，測試規(guī)模更大，不僅擁有百萬量級測試數(shù)據(jù)，同時這些測試數(shù)據(jù)均不公開，有效避免算法過擬合甚至是作弊手段。

　　表一：主流的人臉識別測試場景、測試集、指標比較

　　表二： 在三個測試集上代表廠商成績比較。安防廠商?？低曃窗l(fā)布公開測試成績。

　　LFW 是由美國馬薩諸塞大學發(fā)布并維護的公開人臉數(shù)據(jù)集，測試數(shù)據(jù)規(guī)模為萬，國內(nèi)多個團隊例如百度、騰訊、大華、曠視、商湯都曾獲得了 99.5% 以上的成績。

　　MegaFace 是由美國華盛頓大學發(fā)布并維護的公開人臉數(shù)據(jù)集，測試規(guī)模比 LFW 大 100 倍，更能區(qū)分各個算法的性能差異。第一名是創(chuàng)立于 1999 年的老牌俄羅斯公司 Vocord，獲得 91.7% 的成績，比第二名騰訊優(yōu)圖高出 8%。

　　在頂級的競爭中，數(shù)據(jù)和計算的優(yōu)勢并不能保證輸出最優(yōu)秀的算法性能。

　　由美國國家標準技術(shù)局(NIST)主持的 FRVT，除了主持機構(gòu)的權(quán)威性外，測試結(jié)果的權(quán)威性還來自其評測的嚴謹和全面性：

　　1、數(shù)據(jù)均來自真實業(yè)務場景，測試結(jié)果好則代表該技術(shù)可以在實戰(zhàn)場景中直接應用。

　　2、數(shù)據(jù)規(guī)模是通過對百億對樣本采樣，達到百萬量級。如此大規(guī)模的測試集可以穩(wěn)定評估算法性能，詳細區(qū)分不同算法的優(yōu)劣。

　　3、測試數(shù)據(jù)不公開 (盲測)，這保證了測試的公正性。因為參賽的算法團隊無法利用測試數(shù)據(jù)做模型訓練，可以有效避免過擬合或直接作弊等手段，因此相對于 LFW、MegaFace 而言，F(xiàn)RVT 則更能體現(xiàn)測試的公正性。

　　4、科學專業(yè)性，F(xiàn)RVT 對不同實戰(zhàn)場景、人種、年齡、性別，做了詳細分解下的識別性能比較，并在模型速度、特征庫大小、比對閾值等做了詳細評估。

　　這是目前為止全球公開的、最大規(guī)模測試集、最權(quán)威測試指標下的最好成績，比2014年參與同樣測試的第一名日本公司NEC在準確率上有大幅提高。

　　NIST 針對測試作了不同場景、不同人種、不同性別、不同年齡的識別性能比較。從 FRVT 的官方描述來看，其提供的測試數(shù)據(jù)對應了出入境管理、身份門禁認證、平安城市監(jiān)控等實戰(zhàn)應用場景，依圖在四項主要的測試場景中均獲得第一名。

　　在更詳細的人種(黑人、白人、亞洲人等)、性別比較中，依圖的算法表現(xiàn)幾乎沒有差異;而其他算法隨著識別難度增加，識別率出現(xiàn)了不同程度的較大降低。對比結(jié)果說明依圖的算法可以在不同類型數(shù)據(jù)分布的實用場景中，例如黑人較多的場景下，算法也可有穩(wěn)定表現(xiàn)。

　　智能萬倍增長

　　過去四年，從 LFW 到 FRVT，測試指標已經(jīng)從千分之一誤報到千萬分之一誤報，識別性能已經(jīng)提高一萬倍，意味著誤報降低萬倍?？梢灶A見，很快就會出現(xiàn)測試指標在億分之一、十億分之一、百億分之一誤報下的識別性能比較，這將是另一個千倍的智能識別能力的增長。

　　可以想象，在十億級超大規(guī)模比對、十億分之一超低誤報下的高識別性能，意味著智能技術(shù)將解鎖更多的應用場景，從樓宇建筑到城市量級，甚至多城聯(lián)動，再到全國范圍內(nèi)的人臉比對、安防布控都將成為可能。

　　筆者就此事特別采訪了依圖科技 CEO 朱瓏，朱瓏說：「NIST 是工業(yè)界最權(quán)威的測試，有最直接的應用指導價值。從測試的結(jié)果來說，有兩個意義： 我們可以平靜的接受，來自中國的算法技術(shù)超過全球的競爭對手;更大的意義在于，掌握標準制定話語權(quán)和實際全球影響力的美國國家標準技術(shù)局，已經(jīng)顯得『沒見過世面』，千萬分之一的誤報下的識別率并不能拉開我們和第二名的差距，我們的算法已經(jīng)在 10 億分之一的誤報下達到超過 90% 的識別率。希望將來，國際主流學術(shù)機構(gòu)能接受，只有中國參與的標準測試，才反映全球最前沿的技術(shù)理解?！?/p>