計(jì)算機(jī)正在學(xué)習(xí)識(shí)別具有接近人類能力的物體。但是康奈爾大學(xué)的研究人員發(fā)現(xiàn)，像人類一樣，計(jì)算機(jī)可能會(huì)被視錯(cuò)覺所欺騙，這引起了安全隱患，并為計(jì)算機(jī)視覺的研究開辟了新途徑。

康奈爾大學(xué)的研究生Jason Yosinski和懷俄明大學(xué)進(jìn)化人工智能實(shí)驗(yàn)室的同事創(chuàng)造了對人類看起來像白噪聲或隨機(jī)幾何圖案的圖像，但計(jì)算機(jī)很有信心地將其識(shí)別為常見物體。

Yosinski表示：“我們認(rèn)為我們的結(jié)果很重要，原因有兩個(gè)。” “首先，他們強(qiáng)調(diào)了基于現(xiàn)代監(jiān)督機(jī)器學(xué)習(xí)的計(jì)算機(jī)視覺系統(tǒng)可能會(huì)被愚弄的程度，這在許多領(lǐng)域都具有安全隱患。其次，本文中使用的方法提供了一種重要的調(diào)試工具，可以準(zhǔn)確地發(fā)現(xiàn)網(wǎng)絡(luò)正在學(xué)習(xí)的工件。”

通過向計(jì)算機(jī)顯示對象的照片以及對象名稱，可以訓(xùn)練計(jì)算機(jī)識(shí)別圖像。從同一個(gè)對象的許多不同角度來看，計(jì)算機(jī)會(huì)組裝一種模糊模型，使它們都適合所有對象，并將匹配同一個(gè)對象的新圖像。近年來，計(jì)算機(jī)科學(xué)家使用稱為深度神經(jīng)網(wǎng)絡(luò)(DNN)的系統(tǒng)在圖像識(shí)別方面取得了很高的成功，該系統(tǒng)通過在每次激活時(shí)增加內(nèi)存中位置的值來模擬人腦中的突觸。“深層”網(wǎng)絡(luò)使用多層模擬神經(jīng)元在多個(gè)抽象層次上工作：一個(gè)層次認(rèn)識(shí)到一張圖片是四足動(dòng)物的圖片，另一層則是貓的圖片，另一層則將其縮小為“暹羅”。

但是計(jì)算機(jī)無法像人類那樣處理圖像。他解釋說：“我們意識(shí)到神經(jīng)網(wǎng)絡(luò)并沒有對產(chǎn)生消防車圖像所必需的知識(shí)進(jìn)行編碼，只是對告訴消防車所必需的知識(shí)進(jìn)行了編碼。” 顏色斑點(diǎn)和線條圖案可能就足夠了。例如，計(jì)算機(jī)可能只說出帶有黃色和黑色條紋的“校車”，或者說是重復(fù)的大致正方形的“計(jì)算機(jī)鍵盤”。

研究人員與機(jī)械和航空航天工程副教授霍德·利普森(Hod Lipson)在康奈爾創(chuàng)意機(jī)器實(shí)驗(yàn)室合作，研究人員利用DNN認(rèn)為具有重要意義的特征對圖像進(jìn)行了“演變”。他們使用了兩個(gè)在大規(guī)模圖像數(shù)據(jù)庫上經(jīng)過訓(xùn)練的，廣泛使用的DNN系統(tǒng)進(jìn)行了測試。從隨機(jī)圖像開始，他們慢慢地對圖像進(jìn)行突變，將每個(gè)新版本顯示為DNN。如果將新圖像確定為比原始圖像具有更高確定性的特定類別，則研究人員將放棄舊版本并繼續(xù)對新版本進(jìn)行變異。最終，這些圖像被DNN識(shí)別，具有超過99%的置信度，但人類視覺無法識(shí)別。

“研究表明，有可能'愚弄'一個(gè)深度學(xué)習(xí)系統(tǒng)，從而它學(xué)習(xí)的東西不是真的，而是您想要學(xué)習(xí)的東西，”計(jì)算機(jī)科學(xué)教授塞繆爾·B·埃克特(Samuel B. Eckert)獲認(rèn)可的弗雷德·施耐德(Fred Schneider)說。計(jì)算機(jī)安全專家。“這可能是瀆職者導(dǎo)致自動(dòng)化系統(tǒng)對某些問題給出精心設(shè)計(jì)的錯(cuò)誤答案的基礎(chǔ)。Web上的許多系統(tǒng)都在使用深度學(xué)習(xí)來分析和從大量數(shù)據(jù)中得出推論。網(wǎng)絡(luò)廣告客戶可以使用DNN來決定在Facebook上向您展示什么廣告，情報(bào)機(jī)構(gòu)可以使用DNN來確定特定活動(dòng)是否可疑。”

Yosinski指出，惡意網(wǎng)頁可能包含偽造的圖像，以欺騙圖像搜索引擎或繞過“安全搜索”過濾器。否則，面部識(shí)別系統(tǒng)可能會(huì)接受明顯的抽象圖像作為授權(quán)訪問者。

在進(jìn)一步的步驟中，研究人員嘗試通過使DNN欺騙圖像并對其進(jìn)行標(biāo)記來“重新訓(xùn)練” DNN。這產(chǎn)生了一些改善，但是研究人員說，即使是這些經(jīng)過重新訓(xùn)練的新網(wǎng)絡(luò)也經(jīng)常會(huì)被愚弄。

Yosinski說：“圖像識(shí)別領(lǐng)域在過去幾年中發(fā)生了革命性的變化。” “ [機(jī)器學(xué)習(xí)研究人員]現(xiàn)在有很多有用的東西，但是我們所沒有的，我們?nèi)匀恍枰模歉玫亓私膺@些神經(jīng)網(wǎng)絡(luò)內(nèi)部的真實(shí)情況。”