Socionext公司和大阪大學(xué)研究所的一個(gè)研究小組對(duì)Datability科學(xué)聯(lián)合開(kāi)發(fā)深度學(xué)習(xí)的新方法，使圖像識(shí)別和對(duì)象檢測(cè)極低-光照條件。在長(zhǎng)原浩二(Hajime Nagahara)教授的帶領(lǐng)下，開(kāi)發(fā)團(tuán)隊(duì)合并了多個(gè)模型，創(chuàng)建了一種新方法，該方法無(wú)需生成龐大的數(shù)據(jù)集即可檢測(cè)對(duì)象，而以前這是一項(xiàng)必不可少的任務(wù)。

Socionext計(jì)劃將這種新方法整合到公司的圖像信號(hào)處理器中，以開(kāi)發(fā)新的SoC以及圍繞此類(lèi)SoC的新相機(jī)系統(tǒng)，用于汽車(chē)，安全，工業(yè)和其他需要高性能圖像識(shí)別的應(yīng)用。這項(xiàng)研究工作將在8月24日至28日(英國(guó)夏令時(shí))在線(xiàn)舉行的2020年歐洲計(jì)算機(jī)視覺(jué)會(huì)議(ECCV)上發(fā)表。

新方法達(dá)到了提高圖像識(shí)別性能的目的

整個(gè)計(jì)算機(jī)視覺(jué)技術(shù)發(fā)展過(guò)程中的一個(gè)主要挑戰(zhàn)是在惡劣的照明條件下提高車(chē)載攝像機(jī)和監(jiān)視系統(tǒng)等應(yīng)用的圖像識(shí)別性能。以前，已經(jīng)開(kāi)發(fā)出一種使用來(lái)自傳感器的RAW圖像數(shù)據(jù)的深度學(xué)習(xí)方法，稱(chēng)為“學(xué)習(xí)在黑暗中看” [1]。但是，這種方法需要超過(guò)200,000張圖像的數(shù)據(jù)集，并具有超過(guò)150萬(wàn)個(gè)批注[2]才能進(jìn)行端到端學(xué)習(xí)。用RAW圖像準(zhǔn)備如此大的數(shù)據(jù)集既費(fèi)錢(qián)又費(fèi)時(shí)。

聯(lián)合研究小組提出了領(lǐng)域適應(yīng)方法，該方法通過(guò)利用機(jī)器學(xué)習(xí)技術(shù)(例如轉(zhuǎn)移學(xué)習(xí)和知識(shí)蒸餾)，使用現(xiàn)有數(shù)據(jù)集構(gòu)建所需的模型。新的領(lǐng)域適應(yīng)方法通過(guò)以下步驟解決了這一挑戰(zhàn)：(1)使用現(xiàn)有數(shù)據(jù)集構(gòu)建推理模型;(2)從上述推理模型中提取知識(shí);(3)通過(guò)膠合層合并模型;(4)通過(guò)知識(shí)蒸餾構(gòu)建生成模型。它可以使用現(xiàn)有數(shù)據(jù)集學(xué)習(xí)所需的圖像識(shí)別模型(圖2)。

利用這種域自適應(yīng)方法，該團(tuán)隊(duì)使用YOLO模型[3]，建立了在極端黑暗條件下拍攝的RAW圖像的對(duì)象檢測(cè)模型“ YOLO in the Dark” ?？梢允褂矛F(xiàn)有數(shù)據(jù)集學(xué)習(xí)帶有RAW圖像的對(duì)象檢測(cè)模型，而無(wú)需生成其他數(shù)據(jù)集。與現(xiàn)有的YOLO模型不同，該模型無(wú)法通過(guò)校正圖像的亮度來(lái)檢測(cè)對(duì)象(a)，而提出的新方法則可以識(shí)別RAW圖像并檢測(cè)對(duì)象(b)。這種新方法所需的數(shù)據(jù)處理時(shí)間約為原始方法的一半，后者是使用先前模型(c)的組合。

該方法的這種“直接識(shí)別RAW圖像”有望與其他許多應(yīng)用一起用于極端黑暗條件下的物體檢測(cè)。Socionext將在其先進(jìn)的成像技術(shù)和SoC系列產(chǎn)品中添加這種新方法，以支持需要高質(zhì)量，高性能圖像識(shí)別的高級(jí)相機(jī)系統(tǒng)和應(yīng)用。