隨著深度學(xué)習(xí)領(lǐng)域以及整個人工智能領(lǐng)域的不斷發(fā)展，公司正在越來越多地投資于專用加速硬件，例如圖形處理單元(GPU)，以開發(fā)其產(chǎn)品。但是，依賴GPU的問題之一是它們的相對較高的成本，這使得發(fā)展和競爭比原本要困難的多。

為了減輕研究人員和企業(yè)的財務(wù)負擔(dān)，萊斯大學(xué)的一組工程師開發(fā)了一種稱為“亞線性深度學(xué)習(xí)引擎”(SLIDE)的算法，該算法將GPU替換為通用處理器(CPU)。

系統(tǒng)的共同作者Anshumali Shrivastava說：“我們的測試表明SLIDE是在CPU上進行深度學(xué)習(xí)的第一個智能算法實現(xiàn)，可以在具有大型完全連接架構(gòu)的行業(yè)規(guī)模推薦數(shù)據(jù)集上勝過GPU硬件加速。”

為了減少計算開銷，Shrivastava和研究生Beidi Chen和Tharun Medini將神經(jīng)網(wǎng)絡(luò)訓(xùn)練變成了可以通過哈希表解決的搜索問題，而不是使用需要強大的GPU的無處不在的反向傳播技術(shù)。

由于不必在每種情況下都訓(xùn)練所有人造神經(jīng)元，因此該任務(wù)可能會轉(zhuǎn)化為搜索問題，從而僅選擇相關(guān)的神經(jīng)元。Medini說：“因此，從算法上講，這個想法是使用局部敏感的散列來擺脫矩陣乘法。”

根據(jù)Shrivastava的說法，相對于反向傳播，SLIDE的主要優(yōu)勢在于它可以同時更新或訓(xùn)練幾個數(shù)據(jù)實例，從而更好地利用CPU的并行性。

在2019年3月在arXiv上發(fā)布了初步結(jié)果并將其代碼上傳到GitHub之后，英特爾很快聯(lián)系了該團隊，為解決與使用大內(nèi)存相關(guān)的問題提供了幫助，最終將結(jié)果提高了約50%。

盡管SLIDE盡管存在上述問題，但已經(jīng)可以提供比基于GPU的系統(tǒng)更快的培訓(xùn)時間，但Shrivastava聲稱，該團隊幾乎沒有觸及表面。

Shrivastava說：“整個信息是，'不要被乘法矩陣和GPU內(nèi)存所困擾'。” “我們可能是擊敗GPU的第一種算法方法，但我希望這不是最后一種。這個領(lǐng)域需要新的想法，這是MLSys [關(guān)于機器學(xué)習(xí)和系統(tǒng)的會議]的重要組成部分。”