Facebook Inc.設(shè)計(jì)了一個(gè)新的人工智能框架，據(jù)稱它可以創(chuàng)建更智能的自然語(yǔ)言處理模型，從而生成問(wèn)題的準(zhǔn)確答案，而無(wú)需不斷進(jìn)行培訓(xùn)。

自然語(yǔ)言處理(NLP)是指教會(huì)計(jì)算機(jī)以了解如何解釋和操縱人類語(yǔ)言的過(guò)程。這是AI研究中最古老的挑戰(zhàn)之一，并且已經(jīng)走了很長(zhǎng)一段路，其模型可以微調(diào)以執(zhí)行許多不同的任務(wù)，包括分析醫(yī)學(xué)文本或響應(yīng)客戶查詢。

Facebook表示，當(dāng)今NLP面臨的最大挑戰(zhàn)是創(chuàng)建一個(gè)模型，以研究和了解其聽(tīng)到和閱讀的內(nèi)容。但是今天，它宣布通過(guò)其新的Retrieval Augmented Generation架構(gòu)在該領(lǐng)域取得了“實(shí)質(zhì)性進(jìn)展”，該架構(gòu)作為開(kāi)源軟件發(fā)布，作為其Hugging Face變壓器模型庫(kù)的一部分，該庫(kù)可用于多種模型。自然的NLP任務(wù)。

Facebook研究人員Sebastian Riedel，Douwe Kiela，Patrick Lewis和Aleksandra Piktus在博客中表示，RAG架構(gòu)是“端到端可區(qū)分模型”，將Facebook AI的密集通道檢索系統(tǒng)與其雙向和自回歸變壓器相結(jié)合。 序列到序列模型生成器。

RAG體系結(jié)構(gòu)本質(zhì)上是一種知識(shí)提取器，可以通過(guò)簡(jiǎn)單地閱讀Internet上可用的文檔來(lái)生成對(duì)其提出的問(wèn)題的答案。Facebook的研究人員說(shuō)，即使閱讀的文檔僅能提供正確答案的線索，也不會(huì)一字不漏地說(shuō)明這一點(diǎn)。

他們寫道：“我們?cè)趲в蠷AG的NaturalQuestions，CuratedTrec和WebQuestions上獲得了非常出色的結(jié)果，表明可以用生成的而不是提取的讀取器來(lái)實(shí)現(xiàn)最新的機(jī)器讀取性能，”他們寫道。

研究人員說(shuō)，RAG在涉及知識(shí)密集型“ Jeopardy”問(wèn)題時(shí)表現(xiàn)出色，這歸功于他們認(rèn)為RAG能夠使用從多種來(lái)源中提取的不同信息來(lái)合成響應(yīng)。

研究人員說(shuō)：“有了RAG，我們就可以通過(guò)交換用于知識(shí)檢索的文檔來(lái)簡(jiǎn)單地控制它所知道的。” “我們通過(guò)用較舊的數(shù)據(jù)集替換了原始的Wikipedia數(shù)據(jù)集，然后詢問(wèn)諸如“誰(shuí)是冰島總理?”之類的問(wèn)題，對(duì)這種行為進(jìn)行了測(cè)試。”

RAG的答復(fù)表明，它能夠根據(jù)新數(shù)據(jù)集調(diào)整其答案。Facebook的研究人員說(shuō)，這種功能對(duì)于AI代理之類的應(yīng)用程序來(lái)說(shuō)是無(wú)價(jià)的，這些應(yīng)用程序需要能夠訪問(wèn)大量信息并確定什么是正確的信息。

對(duì)于當(dāng)今的現(xiàn)有訓(xùn)練有素的模型來(lái)說(shuō)，這是一個(gè)問(wèn)題，因?yàn)樗麄冃枰粩嗟剡M(jìn)行再訓(xùn)練才能保持最新?tīng)顟B(tài)。使用RAG，可以創(chuàng)建更多的自適應(yīng)NLP模型，從而通過(guò)訪問(wèn)和了解更多最新信息來(lái)繞過(guò)再培訓(xùn)步驟。

研究人員說(shuō)：“我們認(rèn)為RAG具有廣闊的潛力，這就是我們今天將其作為Hugging Face變壓器庫(kù)的一部分發(fā)布的原因。” “有了RAG的支持，我們相信社區(qū)將能夠?qū)⒒跈z索的生成應(yīng)用于我們已經(jīng)探索過(guò)的，甚至我們還沒(méi)有想到的知識(shí)密集型任務(wù)。”

星座研究公司(Constellation Research Inc.)的分析師Holger Mueller告訴SiliconANGLE，人工智能與自動(dòng)化的未來(lái)息息相關(guān)，在人類交互的情況下，這意味著人們需要更好地理解自然語(yǔ)言。

“自然語(yǔ)言模型既龐大又復(fù)雜，并且對(duì)它們進(jìn)行重新訓(xùn)練是因?yàn)槭澜鐝恼Z(yǔ)言和上下文的角度來(lái)看都是緩慢而昂貴的，” Mueller說(shuō)。“ Facebook對(duì)開(kāi)放源代碼的RAG貢獻(xiàn)避免了重新訓(xùn)練模型的需要。這對(duì)于AI開(kāi)發(fā)商開(kāi)發(fā)下一代應(yīng)用程序來(lái)說(shuō)非常有吸引力。”