研究人員已經(jīng)開發(fā)出一種技術(shù)，使機(jī)器人能夠通過少量的人類演示來學(xué)習(xí)新的拾取和放置任務(wù)。

隨著電子商務(wù)訂單的涌入，倉庫機(jī)器人從貨架上挑選杯子并將它們放入盒子中進(jìn)行運(yùn)輸。一切都在嗡嗡作響，直到倉庫處理變化，機(jī)器人現(xiàn)在必須抓住倒置存放的更高、更窄的杯子。

重新編程該機(jī)器人需要手動(dòng)標(biāo)記數(shù)千張圖像，以展示它如何抓住這些新杯子，然后重新訓(xùn)練系統(tǒng)。

但麻省理工學(xué)院研究人員開發(fā)的一項(xiàng)新技術(shù)只需要少數(shù)人類演示即可重新編程機(jī)器人。這種機(jī)器學(xué)習(xí)方法使機(jī)器人能夠拾取和放置從未遇到過的隨機(jī)姿勢的從未見過的物體。在 10 到 15 分鐘內(nèi)，機(jī)器人將準(zhǔn)備好執(zhí)行新的拾取和放置任務(wù)。

該技術(shù)使用專門設(shè)計(jì)用于重建 3D 對(duì)象形狀的神經(jīng)網(wǎng)絡(luò)。只需幾次演示，該系統(tǒng)就可以使用神經(jīng)網(wǎng)絡(luò)學(xué)到的關(guān)于 3D 幾何的知識(shí)來抓取與演示中的對(duì)象相似的新對(duì)象。

在模擬中并使用真實(shí)的機(jī)械臂，研究人員表明，他們的系統(tǒng)可以有效地操縱以隨機(jī)姿勢排列的前所未見的杯子、碗和瓶子，僅使用 10 次演示來教機(jī)器人。

“我們的主要貢獻(xiàn)是能夠更有效地為需要在可能存在很多可的非結(jié)構(gòu)化環(huán)境中運(yùn)行的機(jī)器人提供新技能。通過構(gòu)造進(jìn)行泛化的概念是一種令人著迷的能力，因?yàn)檫@個(gè)問題通常要困難得多，”電氣工程和計(jì)算機(jī)科學(xué) (EECS) 研究生、該論文的共同主要作者 Anthony Simeonov 說。

Simeonov 與共同主要作者、EECS 研究生 Yilun Du 共同撰寫了這篇論文;Google Brain 的研究科學(xué)家 Andrea Tagliasacchi;Joshua B. Tenenbaum，Paul E. Newton 腦與認(rèn)知科學(xué)系認(rèn)知科學(xué)與計(jì)算職業(yè)發(fā)展教授，計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室 (CSAIL) 成員;Alberto Rodriguez，機(jī)械工程系 1957 屆副教授;CSAIL 教授 Pulkit Agrawal 和 EECS 新任助理教授 Vincent Sitzmann 和資深作者。該研究將在機(jī)器人與自動(dòng)化國際會(huì)議上發(fā)表。

掌握幾何

機(jī)器人可能會(huì)被訓(xùn)練去撿起一個(gè)特定的物品，但如果那個(gè)物體側(cè)躺著(可能是摔倒了)，機(jī)器人會(huì)認(rèn)為這是一個(gè)全新的場景。這是機(jī)器學(xué)習(xí)系統(tǒng)很難泛化到新的面向?qū)ο蟮脑蛑弧?/p>

為了克服這一挑戰(zhàn)，研究人員創(chuàng)建了一種新型神經(jīng)網(wǎng)絡(luò)模型，即神經(jīng)描述符字段 (NDF)，它可以學(xué)習(xí)一類物品的 3D 幾何形狀。該模型使用 3D 點(diǎn)云計(jì)算特定項(xiàng)目的幾何表示，3D 點(diǎn)云是一組數(shù)據(jù)點(diǎn)或三維坐標(biāo)。數(shù)據(jù)點(diǎn)可以從提供物體和視點(diǎn)之間距離信息的深度相機(jī)獲得。雖然網(wǎng)絡(luò)在合成 3D 形狀的大型數(shù)據(jù)集上進(jìn)行了模擬訓(xùn)練，但它可以直接應(yīng)用于現(xiàn)實(shí)世界中的對(duì)象。

該團(tuán)隊(duì)設(shè)計(jì)了具有稱為等方差的屬性的 NDF。有了這個(gè)屬性，如果模型顯示一個(gè)直立杯子的圖像，然后在其側(cè)面顯示同一個(gè)杯子的圖像，它就知道第二個(gè)杯子是同一個(gè)對(duì)象，只是旋轉(zhuǎn)了。

“這種等效性使我們能夠更有效地處理觀察到的物體處于任意方向的情況，”Simeonov 說。

隨著 NDF 學(xué)習(xí)重建相似對(duì)象的形狀，它還學(xué)習(xí)關(guān)聯(lián)這些對(duì)象的相關(guān)部分。例如，它知道杯子的把手是相似的，即使有些杯子比其他杯子更高或更寬，或者把手更小或更長。

“如果你想用另一種方法做到這一點(diǎn)，你必須手工標(biāo)記所有部件。相反，我們的方法會(huì)自動(dòng)從形狀重建中發(fā)現(xiàn)這些部分，”杜說。

研究人員使用這個(gè)訓(xùn)練有素的 NDF 模型來教機(jī)器人一項(xiàng)新技能，只需幾個(gè)物理示例。他們將機(jī)器人的手移動(dòng)到他們希望它抓住的物體的一部分上，比如碗的邊緣或杯子的把手，并記錄指尖的位置。

Du 解釋說，由于 NDF 已經(jīng)了解了很多關(guān)于 3D 幾何和如何重建形狀的知識(shí)，它可以推斷出新形狀的結(jié)構(gòu)，從而使系統(tǒng)能夠?qū)⒀菔巨D(zhuǎn)移到任意姿勢的新對(duì)象上。

挑選獲勝者

他們在模擬中以及使用杯子、碗和瓶子作為對(duì)象的真實(shí)機(jī)械臂上測試了他們的模型。他們的方法在新方向的新對(duì)象的拾取和放置任務(wù)上的成功率為 85%，而最佳基線只能達(dá)到 45% 的成功率。成功意味著抓住一個(gè)新物體并將其放置在目標(biāo)位置，就像將杯子掛在架子上一樣。

許多基線使用 2D 圖像信息而不是 3D 幾何，這使得這些方法更難以整合等方差。這是 NDF 技術(shù)表現(xiàn)如此出色的原因之一。

雖然研究人員對(duì)其性能感到滿意，但他們的方法僅適用于其訓(xùn)練的特定對(duì)象類別。被教導(dǎo)拿起杯子的機(jī)器人將無法拿起盒子或耳機(jī)，因?yàn)檫@些物體的幾何特征與網(wǎng)絡(luò)所訓(xùn)練的差異太大。

“在未來，將其擴(kuò)展到多個(gè)類別或完全放棄類別的概念將是理想的，”Simeonov 說。

他們還計(jì)劃使系統(tǒng)適應(yīng)非剛性物體，從長遠(yuǎn)來看，使系統(tǒng)能夠在目標(biāo)區(qū)域發(fā)生變化時(shí)執(zhí)行拾取和放置任務(wù)。