孩子們通過觀察他們的環(huán)境，傾聽他們周圍的人，以及他們所看到和聽到的點(diǎn)之間的點(diǎn)來學(xué)習(xí)語言。除此之外，這有助于孩子建立他們語言的詞序，例如主語和動詞在句子中的位置。

在計算中，學(xué)習(xí)語言是句法和語義解析器的任務(wù)。這些系統(tǒng)受到人類注釋的句子的訓(xùn)練，這些句子描述了單詞背后的結(jié)構(gòu)和意義。解析器對于網(wǎng)絡(luò)搜索，自然語言數(shù)據(jù)庫查詢以及Alexa和Siri等語音識別系統(tǒng)變得越來越重要。很快，它們也可能用于家庭機(jī)器人。

但是收集注釋數(shù)據(jù)對于不太常見的語言來說可能是耗時且困難的。此外，人類并不總是同意注釋，注釋本身可能無法準(zhǔn)確反映人們自然說話的方式。

在本周的自然語言處理經(jīng)驗(yàn)方法會議上發(fā)表的一篇論文中，麻省理工學(xué)院的研究人員描述了一種解析器，它通過觀察學(xué)習(xí)更接近地模仿兒童的語言習(xí)得過程，這可以極大地擴(kuò)展解析器的能力。為了學(xué)習(xí)語言的結(jié)構(gòu)，解析器觀察標(biāo)題視頻，沒有其他信息，并將單詞與記錄的對象和動作相關(guān)聯(lián)。給定一個新句子，然后解析器可以使用它所學(xué)習(xí)的語言結(jié)構(gòu)來準(zhǔn)確預(yù)測句子的意義，而無需視頻。

這種“弱監(jiān)督”方法 - 意味著它需要有限的訓(xùn)練數(shù)據(jù) - 模仿兒童如何觀察周圍的世界并學(xué)習(xí)語言，而無需任何人提供直接背景。據(jù)研究人員稱，這種方法可以擴(kuò)展數(shù)據(jù)類型，減少培訓(xùn)解析器所需的工作量。例如，一些直接注釋的句子可以與許多更容易獲得的字幕視頻相結(jié)合，以提高性能。

將來，解析器可用于改善人與機(jī)器人之間的自然交互。例如，配備解析器的機(jī)器人可以不斷地觀察其環(huán)境，以加強(qiáng)其對口頭命令的理解，包括當(dāng)口語句子不完全語法或清楚時。“人們在部分句子，連續(xù)思想和混亂的語言中互相交談。你想要一個適合他們特定說話方式的機(jī)器人......并且仍然能夠找出他們的意思，”作者：安德烈巴布，計算機(jī)科學(xué)和人工智能實(shí)驗(yàn)室(CSAIL)的研究員，以及麻省理工學(xué)院麥戈文研究所的腦，腦和機(jī)器中心(CBMM)。

解析器還可以幫助研究人員更好地了解幼兒如何學(xué)習(xí)語言。“孩子可以從不同的方式獲得冗余的補(bǔ)充信息，包括聽父母和兄弟姐妹談?wù)撌澜?，以及觸覺信息和視覺信息，[幫助他或她]了解世界，”共同作者說。 Boris Katz，首席研究科學(xué)家兼CSAIL InfoLab集團(tuán)負(fù)責(zé)人。“處理所有這些同步感官輸入是一個了不起的難題。這項(xiàng)工作是了解這種學(xué)習(xí)如何在世界上發(fā)生的更大部分的一部分。”

該論文的共同作者是：第一作者，Candace Ross，電氣工程和計算機(jī)科學(xué)系和CSAIL的研究生，以及CBMM的研究員; Yevgeni Berzak博士'17，腦和認(rèn)知科學(xué)系計算心理語言學(xué)小組的博士后; 和CSAIL研究生Battushig Myanganbayar。

視覺學(xué)習(xí)者

對于他們的工作，研究人員將語義解析器與在視頻中訓(xùn)練對象，人類和活動識別的計算機(jī)視覺組件相結(jié)合。語義解析器通常在用代碼注釋的句子上訓(xùn)練，該代碼將每個單詞的含義和單詞之間的關(guān)系歸于一致。有些人接受過靜止圖像或計算機(jī)模擬的培訓(xùn)。

羅斯說，新的解析器是第一個使用視頻進(jìn)行訓(xùn)練的解析器。在某種程度上，視頻在減少歧義方面更有用。如果解析器不確定某個句子中的動作或?qū)ο?，它可以引用視頻來清除事物。“有時間成分 - 物體彼此相互作用，與人交互 - 以及靜止圖像或語言中看不到的高級屬性，”羅斯說。

研究人員編制了一個大約400個視頻的數(shù)據(jù)集，描述了人們進(jìn)行了許多動作，包括拾取物體或?qū)⑽矬w放下，然后走向物體。眾包平臺機(jī)械土耳其人的參與者隨后為這些視頻提供了1200個字幕。他們預(yù)留了840個用于訓(xùn)練和調(diào)整的視頻標(biāo)題示例，并使用360進(jìn)行測試。使用基于視覺的解析的一個優(yōu)點(diǎn)是“你不需要幾乎同樣多的數(shù)據(jù) - 盡管你有[數(shù)據(jù)]，你可以擴(kuò)展到龐大的數(shù)據(jù)集，”Barbu說。

在培訓(xùn)中，研究人員為解析器提供了確定句子是否準(zhǔn)確描述給定視頻的目標(biāo)。他們?yōu)榻馕銎魈峁┝艘曨l和匹配標(biāo)題。解析器將標(biāo)題的可能含義提取為邏輯數(shù)學(xué)表達(dá)式。例如，“女人正在撿蘋果”這句話可以表示為：?xy。女人x，pick_up xy，蘋果y。

這些表達(dá)和視頻被輸入到由Barbu和其他研究人員開發(fā)的稱為“Sentence Tracker”的計算機(jī)視覺算法中。該算法查看每個視頻幀以跟蹤對象和人如何隨時間變換，以確定動作是否如所描述的那樣播放。通過這種方式，它確定視頻的含義是否正確。

連接點(diǎn)

具有對象，人類和動作的最緊密匹配表示的表達(dá)式成為標(biāo)題的最可能含義。最初，表達(dá)式可以指代視頻中的許多不同對象和動作，但是可能含義的集合用作訓(xùn)練信號，其幫助解析器持續(xù)地降低可能性。“通過假設(shè)所有句子必須遵循相同的規(guī)則，它們都來自同一種語言，并且看到許多標(biāo)題視頻，你可以進(jìn)一步縮小其含義，”Barbu說。

簡而言之，解析器通過被動觀察來學(xué)習(xí)：為了確定視頻的標(biāo)題是否為真，解析器必然必須識別標(biāo)題的最高概率含義。“判斷一個視頻的句子是否屬實(shí)的唯一方法是通過這個中間步驟，'句子是什么意思?' 否則，你不知道如何連接兩者，“巴布解釋道。“我們不會給系統(tǒng)賦予句子的含義。我們說，'有一個句子和一個視頻。句子必須適用于視頻。找出一些中間表示，使視頻成為現(xiàn)實(shí)。'”

訓(xùn)練為學(xué)習(xí)單詞產(chǎn)生句法和語義語法。給定一個新句子，解析器不再需要視頻，而是利用其語法和詞匯來確定句子結(jié)構(gòu)和含義。

最終，這個過程正在學(xué)習(xí)“好像你還是個孩子”，Barbu說。“你看到你周圍的世界，聽到人們說話以學(xué)習(xí)意義。有一天，我可以給你一個句子并問它意味著什么，即使沒有視覺，你也知道它的含義。”

在未來的工作中，研究人員對建模相互作用感興趣，而不僅僅是被動觀察。“孩子們在學(xué)習(xí)時會與環(huán)境互動。我們的想法是建立一個也會用感知來學(xué)習(xí)的模型，”羅斯說。

這項(xiàng)工作部分得到了CBMM，國家科學(xué)基金會，福特基金會研究生研究獎學(xué)金，豐田研究院和MIT-IBM腦啟發(fā)多媒體理解項(xiàng)目的支持。