用于大腦啟發(fā)計算的新型突觸結(jié)構(gòu)
兩位新澤西理工學(xué)院(NJIT)的研究人員與IBM研究蘇黎世實(shí)驗(yàn)室和洛桑聯(lián)邦理工學(xué)院的合作者合作,展示了一種新穎的突觸結(jié)構(gòu),可以產(chǎn)生一種受大腦啟發(fā)的新型信息處理系統(tǒng)。
這些發(fā)現(xiàn)是朝著建立更節(jié)能的計算系統(tǒng)邁出的重要一步,這些系統(tǒng)也能夠在現(xiàn)實(shí)世界中學(xué)習(xí)和適應(yīng)。它們上周發(fā)表在Nature Communications雜志的一篇論文中。
研究人員,電氣和計算機(jī)工程副教授Bipin Rajendran和電氣工程研究生SR Nandakumar一直在開發(fā)可用于各種大數(shù)據(jù)應(yīng)用的大腦啟發(fā)計算系統(tǒng)。
在過去的幾年中,深度學(xué)習(xí)算法已被證明在解決復(fù)雜的認(rèn)知任務(wù)方面非常成功,例如控制自動駕駛汽車和語言理解。這些算法的核心是人工神經(jīng)網(wǎng)絡(luò) - 神經(jīng)元和大腦突觸的數(shù)學(xué)模型 - 提供大量數(shù)據(jù),以便自動調(diào)整突觸強(qiáng)度,以了解這些數(shù)據(jù)中的內(nèi)在特征和隱藏的相關(guān)性流。
然而,在傳統(tǒng)計算機(jī)上實(shí)現(xiàn)這些腦啟發(fā)算法的效率非常低,耗費(fèi)了大量的功率和時間。這促使工程師搜索新材料和設(shè)備,以構(gòu)建可以合并算法的專用計算機(jī)。納米級憶阻裝置,其電導(dǎo)率大致取決于先前信號傳導(dǎo)活動的電子元件,可用于表示人工神經(jīng)網(wǎng)絡(luò)中神經(jīng)元之間的突觸強(qiáng)度。
雖然憶阻設(shè)備可能會帶來速度更快,功效更高的計算系統(tǒng),但它們也受到納米級設(shè)備常見的幾個可靠性問題的困擾。它們的效率源于它們以模擬方式編程以存儲多位信息的能力; 然而,它們的電導(dǎo)率以非確定性和非線性方式變化。
在實(shí)驗(yàn)中,該團(tuán)隊展示了如何配置具有這些特征的多個納米級憶阻設(shè)備,以便有效地實(shí)現(xiàn)人工智能算法,如深度學(xué)習(xí)。來自IBM的包含超過一百萬個納米級相變憶阻器件的原型芯片被用于實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò),用于檢測時變信號中的隱藏模式和相關(guān)性。
“在這項工作中,我們提出并試驗(yàn)性地展示了一種利用納米級憶阻裝置實(shí)現(xiàn)學(xué)習(xí)算法的高學(xué)習(xí)效率的方案,”Nandakumar說。“我們演示的核心思想是并行使用幾個憶阻設(shè)備來代表神經(jīng)網(wǎng)絡(luò)突觸的強(qiáng)度,但只選擇其中一個根據(jù)神經(jīng)元活動在每一步進(jìn)行更新。”
Nandakumar于2016年加入NJIT,是IBM博士的收件人。在過去的一年里,這個問題一直與IBM Research - Zurich的內(nèi)存與認(rèn)知技術(shù)小組合作。
“我們研究的目標(biāo)是建立受大腦結(jié)構(gòu)啟發(fā)的新型計算系統(tǒng),”NJIT的研究顧問Rajendran說。“雖然在過去的十年中,在將機(jī)器學(xué)習(xí)算法用于各種復(fù)雜的認(rèn)知任務(wù)方面取得了重大成功,但它們在移動設(shè)備和現(xiàn)實(shí)世界中嵌入的傳感器中的使用需要新技術(shù)解決方案,能源效率更低,效率更高。仍然存在重大挑戰(zhàn),我們的團(tuán)隊現(xiàn)在已經(jīng)證明納米級憶阻器件雖然噪聲很大且非理想,但可以直接用于此類應(yīng)用。“