能夠識(shí)別和預(yù)測(cè)人類情緒的機(jī)器學(xué)習(xí)模型在過(guò)去幾年里變得越來(lái)越流行。然而，為了使這些技術(shù)中的大多數(shù)表現(xiàn)良好，用于訓(xùn)練它們的數(shù)據(jù)首先由人類受試者進(jìn)行注釋。此外，隨著時(shí)間的推移，情緒不斷變化，這使得視頻或錄音的注釋特別具有挑戰(zhàn)性，往往導(dǎo)致標(biāo)簽和錄音之間的差異。

為了解決這一局限性，密歇根大學(xué)的研究人員最近開(kāi)發(fā)了一種新的卷積神經(jīng)網(wǎng)絡(luò)，它可以同時(shí)對(duì)齊和預(yù)測(cè)端到端的情感注釋。他們?cè)贗EEE《情感計(jì)算學(xué)報(bào)》上發(fā)表的一篇論文中介紹了他們的技術(shù)，稱為多延遲同步(MDS)網(wǎng)絡(luò)。

“情感隨時(shí)間不斷變化;它在我們的談話中起起落落。在工程學(xué)中，我們經(jīng)常使用對(duì)情緒的連續(xù)描述來(lái)衡量情緒是如何變化的。我們的目標(biāo)是通過(guò)語(yǔ)音來(lái)預(yù)測(cè)這些連續(xù)的測(cè)量。但這里有個(gè)問(wèn)題。在對(duì)情感進(jìn)行連續(xù)描述的過(guò)程中，最大的挑戰(zhàn)之一就是我們需要不斷變化的標(biāo)簽。這是由人工注釋器團(tuán)隊(duì)完成的。然而，人不是機(jī)器?！?/p>

正如Mower學(xué)院的教務(wù)長(zhǎng)繼續(xù)解釋的那樣，人類注釋者有時(shí)更能理解特定的情感暗示(比如，笑聲)，但卻忽略了其他暗示背后的含義(比如，一聲惱怒的嘆息)。除此之外，人類需要一些時(shí)間來(lái)處理錄音，因此，他們對(duì)情感暗示的反應(yīng)有時(shí)會(huì)延遲。因此，連續(xù)的情緒標(biāo)簽可能會(huì)出現(xiàn)很多變化，有時(shí)與數(shù)據(jù)中的語(yǔ)音不一致。

在他們的研究中，Mower Provost和她的同事直接解決了這些挑戰(zhàn)，專注于兩個(gè)連續(xù)的情緒測(cè)量:積極性(效價(jià))和能量(激活/喚醒)。他們引入了多延遲同步網(wǎng)絡(luò)，這是一種處理語(yǔ)音和連續(xù)注釋之間不一致的新方法，對(duì)不同類型的聲音提示有不同的反應(yīng)。

參與這項(xiàng)研究的另一名研究人員Soheil Khorram告訴TechXplore:“對(duì)情緒的時(shí)間連續(xù)維度描述(如喚起、效價(jià))提供了關(guān)于情緒表達(dá)的短期變化和長(zhǎng)期趨勢(shì)的詳細(xì)信息?！薄拔覀冄芯康闹饕康氖情_(kāi)發(fā)一個(gè)自動(dòng)情緒識(shí)別系統(tǒng)，能夠從語(yǔ)音信號(hào)估計(jì)時(shí)間連續(xù)的多維情緒。這個(gè)系統(tǒng)可以在不同領(lǐng)域有許多實(shí)際應(yīng)用，包括人機(jī)交互、電子學(xué)習(xí)、市場(chǎng)營(yíng)銷、醫(yī)療保健、娛樂(lè)和法律?！?/p>

由Mower教務(wù)長(zhǎng)、Khorram和他們的同事開(kāi)發(fā)的卷積網(wǎng)絡(luò)有兩個(gè)關(guān)鍵組件，一個(gè)用于情緒預(yù)測(cè)，另一個(gè)用于對(duì)齊。情感預(yù)測(cè)組件是一個(gè)通用的卷積架構(gòu)，用來(lái)識(shí)別聲學(xué)特征和情感標(biāo)簽之間的關(guān)系。

另一方面，校準(zhǔn)組件是研究人員引入的新層(即延遲同步層)，它將可學(xué)習(xí)的時(shí)間移位應(yīng)用于聲學(xué)信號(hào)。研究人員通過(guò)合并這些層來(lái)補(bǔ)償延遲的變化。

Khorram解釋說(shuō):“在開(kāi)發(fā)從語(yǔ)音中預(yù)測(cè)時(shí)間-連續(xù)情感標(biāo)簽的自動(dòng)系統(tǒng)時(shí)，一個(gè)重要的挑戰(zhàn)是這些標(biāo)簽通常與輸入語(yǔ)音不同步?！薄斑@主要是由于反應(yīng)時(shí)間造成的延遲，這是人類評(píng)估固有的。與其他方法相比，我們的卷積神經(jīng)網(wǎng)絡(luò)能夠以端到端方式同時(shí)對(duì)齊和預(yù)測(cè)標(biāo)簽。多延遲同步網(wǎng)絡(luò)利用了現(xiàn)代深度學(xué)習(xí)架構(gòu)中傳統(tǒng)的信號(hào)處理概念(即同步濾波)來(lái)處理反應(yīng)延遲問(wèn)題。

研究人員使用兩個(gè)公開(kāi)的數(shù)據(jù)集，即RECOLA和SEWA數(shù)據(jù)集，通過(guò)一系列的實(shí)驗(yàn)來(lái)評(píng)估他們的技術(shù)。他們發(fā)現(xiàn)，在訓(xùn)練注釋者的情緒識(shí)別模型時(shí)，補(bǔ)償注釋者的反應(yīng)延遲可以顯著提高模型的情緒識(shí)別準(zhǔn)確性。

他們還觀察到，在定義連續(xù)的情緒標(biāo)簽時(shí)，注釋者的反應(yīng)延遲通常不超過(guò)7.5秒。最后，他們的發(fā)現(xiàn)表明，與其他情緒暗示相比，包括笑聲在內(nèi)的語(yǔ)言部分通常需要更小的延遲成分。換句話說(shuō)，注釋者通常更容易在包含笑聲的演講片段中定義情感標(biāo)簽。

“情感無(wú)處不在，它是我們交流的中心，”Mower教務(wù)長(zhǎng)說(shuō)?！拔覀冋诮?qiáng)大的、可推廣的情緒識(shí)別系統(tǒng)，這樣人們就可以很容易地獲取和使用這些信息。這一目標(biāo)的一部分是通過(guò)創(chuàng)建算法來(lái)實(shí)現(xiàn)的，這些算法可以有效地使用大型外部數(shù)據(jù)源，包括標(biāo)記的和非標(biāo)記的，并通過(guò)有效地建模作為我們情感交流一部分的自然動(dòng)態(tài)。另一部分是通過(guò)理解標(biāo)簽本身固有的復(fù)雜性來(lái)完成的?！?/p>

雖然Mower的教務(wù)長(zhǎng)、Khorram和他們的同事將這項(xiàng)技術(shù)應(yīng)用于情感識(shí)別任務(wù)，但它也可以用于增強(qiáng)其他輸入和輸出不完全一致的機(jī)器學(xué)習(xí)應(yīng)用程序。在他們未來(lái)的工作中，研究人員計(jì)劃繼續(xù)研究如何將人類注釋器生成的情感標(biāo)簽有效地集成到數(shù)據(jù)中。

“我們使用了一個(gè)同步濾波器來(lái)近似狄拉克函數(shù)并補(bǔ)償延遲。然而，其他功能，如高斯和三角形，也可以用來(lái)代替同步內(nèi)核，”Khorram說(shuō)?！拔覀兾磥?lái)的工作將探索使用不同類型的內(nèi)核來(lái)近似狄拉克函數(shù)的效果。此外，在本文中，我們著重于語(yǔ)音模態(tài)來(lái)預(yù)測(cè)連續(xù)的情緒注釋，而所提出的多延遲同步網(wǎng)絡(luò)對(duì)于其他輸入模態(tài)也是一種合理的建模技術(shù)。另一個(gè)未來(lái)的計(jì)劃是評(píng)估該網(wǎng)絡(luò)在其他生理和行為模式下的表現(xiàn)，比如:視頻、肢體語(yǔ)言和腦電圖?！?/p>