孩子們通過觀察他們的環(huán)境，傾聽他們周圍的人，以及他們所看到和聽到的點(diǎn)之間的點(diǎn)來(lái)學(xué)習(xí)語(yǔ)言。除此之外，這有助于孩子建立他們語(yǔ)言的詞序，例如主語(yǔ)和動(dòng)詞在句子中的位置。

在計(jì)算中，學(xué)習(xí)語(yǔ)言是句法和語(yǔ)義解析器的任務(wù)。這些系統(tǒng)受到人類注釋的句子的訓(xùn)練，這些句子描述了單詞背后的結(jié)構(gòu)和意義。解析器對(duì)于網(wǎng)絡(luò)搜索，自然語(yǔ)言數(shù)據(jù)庫(kù)查詢以及Alexa和Siri等語(yǔ)音識(shí)別系統(tǒng)變得越來(lái)越重要。很快，它們也可能用于家庭機(jī)器人。

但是收集注釋數(shù)據(jù)對(duì)于不太常見的語(yǔ)言來(lái)說可能是耗時(shí)且困難的。此外，人類并不總是同意注釋，注釋本身可能無(wú)法準(zhǔn)確反映人們自然說話的方式。

在本周的自然語(yǔ)言處理經(jīng)驗(yàn)方法會(huì)議上發(fā)表的一篇論文中，麻省理工學(xué)院的研究人員描述了一種解析器，它通過觀察學(xué)習(xí)更接近地模仿兒童的語(yǔ)言習(xí)得過程，這可以極大地?cái)U(kuò)展解析器的能力。為了學(xué)習(xí)語(yǔ)言的結(jié)構(gòu)，解析器觀察標(biāo)題視頻，沒有其他信息，并將單詞與記錄的對(duì)象和動(dòng)作相關(guān)聯(lián)。給定一個(gè)新句子，然后解析器可以使用它所學(xué)習(xí)的語(yǔ)言結(jié)構(gòu)來(lái)準(zhǔn)確預(yù)測(cè)句子的意義，而無(wú)需視頻。

這種“弱監(jiān)督”方法 - 意味著它需要有限的訓(xùn)練數(shù)據(jù) - 模仿兒童如何觀察周圍的世界并學(xué)習(xí)語(yǔ)言，而無(wú)需任何人提供直接背景。據(jù)研究人員稱，這種方法可以擴(kuò)展數(shù)據(jù)類型，減少培訓(xùn)解析器所需的工作量。例如，一些直接注釋的句子可以與許多更容易獲得的字幕視頻相結(jié)合，以提高性能。

將來(lái)，解析器可用于改善人與機(jī)器人之間的自然交互。例如，配備解析器的機(jī)器人可以不斷地觀察其環(huán)境，以加強(qiáng)其對(duì)口頭命令的理解，包括當(dāng)口語(yǔ)句子不完全語(yǔ)法或清楚時(shí)。“人們?cè)诓糠志渥樱B續(xù)思想和混亂的語(yǔ)言中互相交談。你想要一個(gè)適合他們特定說話方式的機(jī)器人......并且仍然能夠找出他們的意思，”作者：安德烈巴布，計(jì)算機(jī)科學(xué)和人工智能實(shí)驗(yàn)室(CSAIL)的研究員，以及麻省理工學(xué)院麥戈文研究所的腦，腦和機(jī)器中心(CBMM)。

解析器還可以幫助研究人員更好地了解幼兒如何學(xué)習(xí)語(yǔ)言。“孩子可以從不同的方式獲得冗余的補(bǔ)充信息，包括聽父母和兄弟姐妹談?wù)撌澜?，以及觸覺信息和視覺信息，[幫助他或她]了解世界，”共同作者說。 Boris Katz，首席研究科學(xué)家兼CSAIL InfoLab集團(tuán)負(fù)責(zé)人。“處理所有這些同步感官輸入是一個(gè)了不起的難題。這項(xiàng)工作是了解這種學(xué)習(xí)如何在世界上發(fā)生的更大部分的一部分。”

該論文的共同作者是：第一作者，Candace Ross，電氣工程和計(jì)算機(jī)科學(xué)系和CSAIL的研究生，以及CBMM的研究員; Yevgeni Berzak博士'17，腦和認(rèn)知科學(xué)系計(jì)算心理語(yǔ)言學(xué)小組的博士后; 和CSAIL研究生Battushig Myanganbayar。

視覺學(xué)習(xí)者

對(duì)于他們的工作，研究人員將語(yǔ)義解析器與在視頻中訓(xùn)練對(duì)象，人類和活動(dòng)識(shí)別的計(jì)算機(jī)視覺組件相結(jié)合。語(yǔ)義解析器通常在用代碼注釋的句子上訓(xùn)練，該代碼將每個(gè)單詞的含義和單詞之間的關(guān)系歸于一致。有些人接受過靜止圖像或計(jì)算機(jī)模擬的培訓(xùn)。

羅斯說，新的解析器是第一個(gè)使用視頻進(jìn)行訓(xùn)練的解析器。在某種程度上，視頻在減少歧義方面更有用。如果解析器不確定某個(gè)句子中的動(dòng)作或?qū)ο螅梢砸靡曨l來(lái)清除事物。“有時(shí)間成分 - 物體彼此相互作用，與人交互 - 以及靜止圖像或語(yǔ)言中看不到的高級(jí)屬性，”羅斯說。

研究人員編制了一個(gè)大約400個(gè)視頻的數(shù)據(jù)集，描述了人們進(jìn)行了許多動(dòng)作，包括拾取物體或?qū)⑽矬w放下，然后走向物體。眾包平臺(tái)機(jī)械土耳其人的參與者隨后為這些視頻提供了1200個(gè)字幕。他們預(yù)留了840個(gè)用于訓(xùn)練和調(diào)整的視頻標(biāo)題示例，并使用360進(jìn)行測(cè)試。使用基于視覺的解析的一個(gè)優(yōu)點(diǎn)是“你不需要幾乎同樣多的數(shù)據(jù) - 盡管你有[數(shù)據(jù)]，你可以擴(kuò)展到龐大的數(shù)據(jù)集，”Barbu說。

在培訓(xùn)中，研究人員為解析器提供了確定句子是否準(zhǔn)確描述給定視頻的目標(biāo)。他們?yōu)榻馕銎魈峁┝艘曨l和匹配標(biāo)題。解析器將標(biāo)題的可能含義提取為邏輯數(shù)學(xué)表達(dá)式。例如，“女人正在撿蘋果”這句話可以表示為：?xy。女人x，pick_up xy，蘋果y。

這些表達(dá)和視頻被輸入到由Barbu和其他研究人員開發(fā)的稱為“Sentence Tracker”的計(jì)算機(jī)視覺算法中。該算法查看每個(gè)視頻幀以跟蹤對(duì)象和人如何隨時(shí)間變換，以確定動(dòng)作是否如所描述的那樣播放。通過這種方式，它確定視頻的含義是否正確。

連接點(diǎn)

具有對(duì)象，人類和動(dòng)作的最緊密匹配表示的表達(dá)式成為標(biāo)題的最可能含義。最初，表達(dá)式可以指代視頻中的許多不同對(duì)象和動(dòng)作，但是可能含義的集合用作訓(xùn)練信號(hào)，其幫助解析器持續(xù)地降低可能性。“通過假設(shè)所有句子必須遵循相同的規(guī)則，它們都來(lái)自同一種語(yǔ)言，并且看到許多標(biāo)題視頻，你可以進(jìn)一步縮小其含義，”Barbu說。

簡(jiǎn)而言之，解析器通過被動(dòng)觀察來(lái)學(xué)習(xí)：為了確定視頻的標(biāo)題是否為真，解析器必然必須識(shí)別標(biāo)題的最高概率含義。“判斷一個(gè)視頻的句子是否屬實(shí)的唯一方法是通過這個(gè)中間步驟，'句子是什么意思?' 否則，你不知道如何連接兩者，“巴布解釋道。“我們不會(huì)給系統(tǒng)賦予句子的含義。我們說，'有一個(gè)句子和一個(gè)視頻。句子必須適用于視頻。找出一些中間表示，使視頻成為現(xiàn)實(shí)。'”

訓(xùn)練為學(xué)習(xí)單詞產(chǎn)生句法和語(yǔ)義語(yǔ)法。給定一個(gè)新句子，解析器不再需要視頻，而是利用其語(yǔ)法和詞匯來(lái)確定句子結(jié)構(gòu)和含義。

最終，這個(gè)過程正在學(xué)習(xí)“好像你還是個(gè)孩子”，Barbu說。“你看到你周圍的世界，聽到人們說話以學(xué)習(xí)意義。有一天，我可以給你一個(gè)句子并問它意味著什么，即使沒有視覺，你也知道它的含義。”

在未來(lái)的工作中，研究人員對(duì)建模相互作用感興趣，而不僅僅是被動(dòng)觀察。“孩子們?cè)趯W(xué)習(xí)時(shí)會(huì)與環(huán)境互動(dòng)。我們的想法是建立一個(gè)也會(huì)用感知來(lái)學(xué)習(xí)的模型，”羅斯說。

這項(xiàng)工作部分得到了CBMM，國(guó)家科學(xué)基金會(huì)，福特基金會(huì)研究生研究獎(jiǎng)學(xué)金，豐田研究院和MIT-IBM腦啟發(fā)多媒體理解項(xiàng)目的支持。