使用物質狀態(tài)搜索算法進行訓練可以進行神??經元模型修剪
人工神經網絡是機器學習系統(tǒng),由稱為人工神經元的大量連接節(jié)點組成。與生物大腦中的神經元類似,這些人工神經元是用于執(zhí)行神經計算和解決問題的主要基本單位。神經生物學的進展已經說明了樹突細胞結構在神經計算中所起的重要作用,并且這導致了基于這些結構的人工神經元模型的發(fā)展。
最近開發(fā)的近似邏輯神經元模型(ALNM)是具有動態(tài)樹突結構的單個神經模型。ALNM可以使用神經修剪功能在訓練期間消除不必要的樹突分支和突觸以解決特定問題。然后,可以以硬件邏輯電路的形式實現(xiàn)所得到的簡化模型。
然而,用于訓練ALMN的眾所周知的反向傳播(BP)算法實際上限制了神經元模型的計算能力。“BP算法對初始值很敏感,很容易陷入局部最小值,”金澤大學電氣與計算機工程學院的相應作者Yuki Todo說。“因此,我們評估了幾種用于訓練ALMN的啟發(fā)式優(yōu)化方法的能力。”
經過一系列實驗,選擇物質搜索狀態(tài)(SMS)算法作為ALMN最合適的訓練方法。然后使用六個基準分類問題來評估ALNM在使用SMS作為學習算法進行訓練時的優(yōu)化性能,結果表明,與BP和其他啟發(fā)式算法相比,SMS在準確性方面提供了卓越的訓練性能。收斂速度。
“基于ALNM和SMS的分類器也與其他幾種流行的分類方法進行了比較,”Todo副教授表示,“統(tǒng)計結果驗證了該分類器在這些基準問題上的優(yōu)勢。”
在訓練過程中,ALNM通過突觸修剪和樹突修剪程序簡化了神經模型,然后使用邏輯電路代替簡化結構。這些電路還為每個基準問題提供了令人滿意的分類精度。這些邏輯電路的硬件實現(xiàn)的簡易性表明,未來的研究將看到ALNM和SMS用于解決日益復雜和高維度的現(xiàn)實問題。