來(lái)源:獵云網(wǎng)

1月28日?qǐng)?bào)道(編譯:一晌貪歡)

與IBM、微軟的同類(lèi)技術(shù)相比,亞馬遜的人臉?lè)治鲕浖直婺承┤朔N性別的正確率較低。這是麻省理工學(xué)院(MIT)研究人員在近日發(fā)表的一項(xiàng)新研究中得出的結(jié)論,該研究發(fā)現(xiàn),在特定情況下,Rekognition(亞馬遜圖像識(shí)別技術(shù))無(wú)法可靠地辨別女性和深膚色人群。

該項(xiàng)研究的合著者稱(chēng),在2018年進(jìn)行的實(shí)驗(yàn)中,Rekognition錯(cuò)誤地將19%的女性圖像識(shí)別為男性,將31%的深膚色女性圖像識(shí)別為男性。相比之下,微軟在識(shí)別深色皮膚人群性別時(shí),將女性錯(cuò)認(rèn)為男性的比例只有1.5%。

亞馬遜對(duì)這項(xiàng)研究提出質(zhì)疑。它表示,Rekognition升級(jí)版的內(nèi)測(cè)結(jié)果顯示,該技術(shù)對(duì)于識(shí)別性別的正確率不存在人種差異。此外,亞馬遜認(rèn)為這篇論文沒(méi)有清楚地說(shuō)明在實(shí)驗(yàn)中使用的置信度閾值,即Rekognition的判斷被認(rèn)為是正確而必須達(dá)到的最低精確度。

在給外媒的一份聲明中,亞馬遜云服務(wù)平臺(tái)深度學(xué)習(xí)和人工智能總經(jīng)理馬特·伍德博士(Matt Wood)對(duì)面部分析和面部識(shí)別這兩個(gè)概念進(jìn)行了區(qū)分:面部分析指的是在視頻或圖像中辨認(rèn)出臉部,并確定其一般屬性;而面部識(shí)別是將單個(gè)人臉與其它視像中的人臉相匹配。他說(shuō),根據(jù)“面部分析”的結(jié)果來(lái)判斷“面部識(shí)別”的準(zhǔn)確性是“不可行的”,而且他認(rèn)為這篇論文所談?wù)摰暮汀翱蛻?hù)如何使用Rekognition”是兩回事。

伍德博士說(shuō):“使用最新版本的Rekognition,從議會(huì)網(wǎng)站和Megaface人臉數(shù)據(jù)庫(kù)下載百萬(wàn)張圖像數(shù)據(jù),我們發(fā)現(xiàn),置信度閾值設(shè)置為0.99時(shí),誤報(bào)數(shù)為零。我們通過(guò)錄入和反饋來(lái)不斷改進(jìn)這項(xiàng)技術(shù),且支持創(chuàng)建第三方評(píng)估、數(shù)據(jù)集、衡量基準(zhǔn)?！?

這是亞馬遜第二次被質(zhì)疑Rekognition存在偏見(jiàn)。

上一次在今年夏天,美國(guó)公民自由聯(lián)盟(American Civil Liberties Union)對(duì)Rekognition進(jìn)行了一項(xiàng)測(cè)試(亞馬遜質(zhì)疑該測(cè)試的準(zhǔn)確性):把25000張罪犯面部照片和國(guó)會(huì)議員的官方照片進(jìn)行比較。結(jié)果Rekognition將28名議員誤判成罪犯,其中有色人種的錯(cuò)判率占到38%。

無(wú)獨(dú)有偶。

2012年的一項(xiàng)研究顯示,Coigntec(德國(guó)從事生物特征識(shí)別技術(shù)的公司)的人臉識(shí)別程序在識(shí)別非裔美國(guó)人和白種人時(shí)存在差距,前者比后者的錯(cuò)判率高出5%到10%。2011年的一項(xiàng)研究顯示,中日韓開(kāi)發(fā)的人臉識(shí)別模型難以區(qū)分白種人和東亞人。今年2月,麻省理工媒體實(shí)驗(yàn)室進(jìn)行的研究表明,微軟、IBM和北京曠視科技(Megvii)通過(guò)人臉識(shí)別性別的錯(cuò)誤率如下:7%的淺色皮膚女性和12%的深色皮膚男性被認(rèn)錯(cuò),而深色皮膚女性的錯(cuò)判率甚至高達(dá)35%。

弗吉尼亞大學(xué)(University of Virginia)進(jìn)行的另一項(xiàng)研究顯示,ImSitu和COCO(兩個(gè)知名的圖像數(shù)據(jù)集)在描述體育、烹飪和其它活動(dòng)時(shí)表現(xiàn)出性別偏見(jiàn)(其中COCO由Facebook、微軟和初創(chuàng)公司MightyAI共同贊助)。例如,購(gòu)物圖片傾向于與女性相關(guān)聯(lián),而教練圖片則與男性相關(guān)聯(lián)。

也許最糟糕的一個(gè)例子是:2015年一位軟件工程師報(bào)告稱(chēng),谷歌照片的圖像分類(lèi)算法將非裔美國(guó)人識(shí)別成“大猩猩”。

但是人臉識(shí)別技術(shù)的某些進(jìn)展也是令人鼓舞的。

今年6月,微軟與人工智能公平方面的專(zhuān)家合作,修訂并擴(kuò)展了用于培訓(xùn)Face API的數(shù)據(jù)集,Face API是微軟的一套算法程序,用于檢測(cè)、識(shí)別和分析圖像中的人臉。隨著新數(shù)據(jù)包含膚色、性別和年齡等信息,算法程序?qū)ι钅w色的男性和女性的錯(cuò)判率分別降低了20倍和9倍。

亞馬遜表示它一直在努力提高Rekognition識(shí)別的準(zhǔn)確性,最近一次重要技術(shù)升級(jí)在去年11月進(jìn)行。

伍德博士補(bǔ)充說(shuō):“我們?yōu)檫@一領(lǐng)域的學(xué)術(shù)研究提供了資金,也對(duì)自己的團(tuán)隊(duì)進(jìn)行了大量投資,而且努力還將繼續(xù)。我們致力于改善面部識(shí)別、面部分析,強(qiáng)調(diào)解釋結(jié)果時(shí)有很高的可信度,也會(huì)重點(diǎn)關(guān)注人工審查的作用、標(biāo)準(zhǔn)化測(cè)試等方面。我們感謝為改善這些技術(shù)做出貢獻(xiàn)的客戶(hù)和學(xué)者。"

下周在夏威夷檀香山(Honolulu)將舉行“人工智能、倫理和社會(huì)促進(jìn)會(huì)議”,而麻省理工學(xué)院的研究結(jié)果將在會(huì)上公布。

來(lái)源：獵云網(wǎng)