對(duì)于整個(gè)機(jī)器學(xué)習(xí)和人工智能浪潮來說，ARM可能有點(diǎn)晚了，至少對(duì)于現(xiàn)代芯片而言，它是專門設(shè)計(jì)的。但是芯片知識(shí)產(chǎn)權(quán)的設(shè)計(jì)者在部署在最廣泛的設(shè)備中的AI和機(jī)器學(xué)習(xí)芯片的數(shù)量方面，每個(gè)人都擊敗了。

Arm的客戶，包括競(jìng)爭(zhēng)對(duì)手Intel和Nvidia，都在忙于在各處部署AI技術(shù)。該公司還創(chuàng)建了特定的機(jī)器學(xué)習(xí)指令和其他技術(shù)，以確保將AI集成到幾乎所有電子設(shè)備中，而不僅僅是將高端設(shè)備集成到服務(wù)器中。

在服務(wù)器級(jí)別，亞馬遜等客戶正在將基于ARM的機(jī)器學(xué)習(xí)芯片引入數(shù)據(jù)中心。在公司最近在加利福尼亞州圣何塞舉行的TechCon活動(dòng)上，我與Arm機(jī)器學(xué)習(xí)小組副總裁Steve Roddy進(jìn)行了交談。

上圖：史蒂夫·羅迪(Steve Roddy)是Arm機(jī)器學(xué)習(xí)小組的副總裁。

VentureBeat：您對(duì)機(jī)器學(xué)習(xí)的關(guān)注是什么?

史蒂夫·羅迪(Steve Roddy)：我們?cè)谑袌?chǎng)上擁有機(jī)器學(xué)習(xí)處理器已有一年左右的時(shí)間。我們針對(duì)高端消費(fèi)者市場(chǎng)，這顯然是首選。Arm為何聞名?手機(jī)處理器。這就是高端手機(jī)中專用NPU(神經(jīng)處理單元)概念首次出現(xiàn)的地方?，F(xiàn)在，您有Apple，Samsung，MediaTech和[和] Huawei都在設(shè)計(jì)自己的產(chǎn)品，Qualcomm等。這在1000美元的手機(jī)中很常見。

我們要介紹的是一系列處理器，不僅可以服務(wù)那個(gè)市場(chǎng)，而且可以服務(wù)主流和低端市場(chǎng)。我們最初的設(shè)想–我們進(jìn)入市場(chǎng)是為了服務(wù)于制造VR眼鏡，智能手機(jī)的人們，在這些地方您更關(guān)心性能而不是成本平衡等。歷史表明，該功能集會(huì)出現(xiàn)在高端手機(jī)中，需要花費(fèi)幾年時(shí)間，然后才降到主流的400-500美元的手機(jī)中，然后幾年后才出現(xiàn)在更便宜的手機(jī)中。

我認(rèn)為整個(gè)NPU機(jī)器學(xué)習(xí)事物移動(dòng)的速度最有趣的是，它發(fā)生的速度更快，但是出于不同的原因-過去，好的8百萬像素傳感器從這里開始，然后價(jià)格足夠便宜它去了這里，然后當(dāng)它更便宜時(shí)就去了那里。不僅僅是組件成本下降并集成在一起，而是被其他東西所取代。機(jī)器學(xué)習(xí)算法可以用于就系統(tǒng)如何集成和組合在一起做出不同或更明智的決策，從而以不同的方式增加價(jià)值或以不同的方式減少成本。

上圖：Simon Segars在Arm TechCon 2019上

VentureBeat：今天有一個(gè)演講描述了神經(jīng)網(wǎng)絡(luò)將如何弄清楚如何做某事，然后您剔除了那些不必要的東西。最后，您可以得到可以嵌入微控制器的效率更高或更小的產(chǎn)品。

羅迪：這是一個(gè)新興領(lǐng)域。退一步，機(jī)器學(xué)習(xí)實(shí)際上有兩個(gè)組成部分。存在所謂的算法，學(xué)習(xí)或訓(xùn)練的創(chuàng)建，它幾乎完全在云中發(fā)生。對(duì)我來說，我想開玩笑地說，大多數(shù)從業(yè)者都會(huì)同意，這是具有100萬臺(tái)打字機(jī)的100萬只隱猴。Poof，其中之一寫了莎士比亞十四行詩。這就是訓(xùn)練過程的樣子。

實(shí)際上，谷歌對(duì)此很明確。Google現(xiàn)在有了一個(gè)叫做AutoML的東西。假設(shè)您有一個(gè)從某個(gè)開放源代碼存儲(chǔ)庫中挑選的算法，并且在您要執(zhí)行的任務(wù)上非常出色。您已對(duì)圖像識(shí)別進(jìn)行了一些調(diào)整。您可以將其加載到Google的云服務(wù)中。他們之所以這樣做，是因?yàn)樗@然是在計(jì)算服務(wù)上運(yùn)行儀表。但這基本上是您要支付多少錢的問題。

他們將隨機(jī)嘗試偽隨機(jī)創(chuàng)建的神經(jīng)網(wǎng)絡(luò)的不同變體。這里有更多的過濾器，那里有更多的層，逆向操作，將它們亂序處理，然后再次重新運(yùn)行訓(xùn)練集。哦，這個(gè)準(zhǔn)確度現(xiàn)在是.1%。這就是您要花多少錢。1,000美元還是10,000美元的計(jì)算時(shí)間?一百萬只猴子，一百萬臺(tái)打字機(jī)。瞧，我發(fā)現(xiàn)無論臉部識(shí)別，語音識(shí)別，它的準(zhǔn)確率都要高2%。

放開所有。那就是神經(jīng)網(wǎng)絡(luò)的發(fā)展。部署稱為推理?，F(xiàn)在，我想對(duì)我要識(shí)別的對(duì)象(是什么面孔，什么對(duì)象)進(jìn)行一次特殊的推理。我想在汽車上運(yùn)行它，并在人行橫道上認(rèn)出奶奶，或者有什么。顯然，Arm專注于已部署在邊緣或端點(diǎn)的批量硅市場(chǎng)。

例如，您將一堆傳感器粘貼在會(huì)議中心的墻壁上，燈光熄滅，因?yàn)橹鹆?，煙霧彌漫。您可能擁有能夠識(shí)別火勢(shì)，啟動(dòng)并在地板上尋找尸體的傳感器。他們可以向消防部門發(fā)出求救信號(hào)。“這里是人們的所在地。”“別去這個(gè)房間，那里沒人。”“去這個(gè)房間。”這是一件很酷的事情。但是您希望它超級(jí)高效。您不想重新連接整個(gè)會(huì)議中心。您只想貼上電池供電的東西，并期望它可以運(yùn)行三六個(gè)月。您每六個(gè)月進(jìn)入一次并使用該傳感器更換安全系統(tǒng)。

這是采用數(shù)學(xué)家創(chuàng)建的抽象模型并將其簡(jiǎn)化為適合受限設(shè)備的問題。這是仍然面臨的最大挑戰(zhàn)之一。我們有我們的處理器。他們非常擅長在終端設(shè)備中實(shí)現(xiàn)高效版本的神經(jīng)網(wǎng)絡(luò)。從正在構(gòu)想新型神經(jīng)網(wǎng)絡(luò)并理解其中的數(shù)學(xué)的數(shù)學(xué)家那里獲取知識(shí)的過程，然后將其連接到低級(jí)程序員(后者是嵌入式系統(tǒng)程序員)—那里存在巨大的技能差距。

如果您是24歲的數(shù)學(xué)向?qū)?，而您剛獲得了本科數(shù)學(xué)學(xué)位和數(shù)據(jù)科學(xué)研究生學(xué)位，并且您從斯坦福大學(xué)畢業(yè)，那么大型互聯(lián)網(wǎng)公司將在您的宿舍之外為您提供工作機(jī)會(huì)—您在神經(jīng)網(wǎng)絡(luò)及其背后的數(shù)學(xué)方面很出色，但是就定義而言，您在嵌入式軟件編程方面沒有任何技能。他是一位嵌入式軟件工程師，負(fù)責(zé)組裝CPU，GPU和ARM NPU，將操作系統(tǒng)集成在芯片上，并提供驅(qū)動(dòng)程序和低級(jí)固件，他被告知：“嘿，這是帶有神經(jīng)網(wǎng)絡(luò)的代碼。確保它在具有2兆內(nèi)存和200MHz CPU的受限小型設(shè)備上運(yùn)行。讓它起作用。”

好吧，等一下。那里有差距。嵌入式專家說：“我不知道這個(gè)神經(jīng)網(wǎng)絡(luò)能做什么。它需要的計(jì)算量是我的10倍。我可以扔掉的90%是多少?我怎么知道?”高水平的人，數(shù)學(xué)家，對(duì)約束設(shè)備一無所知。他處理數(shù)學(xué)，即大腦模型。他不了解嵌入式編程。大多數(shù)公司在同一公司沒有兩個(gè)人。很少有高度集成的公司將所有人聚集在一起進(jìn)行交談。

上圖：Simon Segars在Arm TechCon 2019上討論了自定義說明。

經(jīng)常-假設(shè)您是數(shù)學(xué)家，而我是嵌入式軟件專家。我們甚至必須要有NDA(保密協(xié)議)才能進(jìn)行對(duì)話。您愿意許可模型輸出，但是您不會(huì)放棄源數(shù)據(jù)集，訓(xùn)練數(shù)據(jù)集，因?yàn)槟鞘悄呢?cái)富。這就是價(jià)值。您給我一個(gè)訓(xùn)練有素的模型，可以識(shí)別人行橫道上的貓，人或奶奶，很好，但是您不會(huì)透露細(xì)節(jié)。你不會(huì)告訴我發(fā)生了什么。在這里，我試圖解釋這在我的約束系統(tǒng)中不適合。你能為我做什么?

你有這個(gè)鴻溝。您不是嵌入式程序員。我不是數(shù)學(xué)家。我們做什么?那是我們正在投資的領(lǐng)域，而其他人正在投資。將來，隨著時(shí)間的推移，這將成為魔術(shù)領(lǐng)域之一。這有助于關(guān)閉它們之間的循環(huán)。這不是單向的事情，您向我許可了一種算法，并且我會(huì)不斷嘗試下去，直到找到合適的算法為止。您給了我99%的準(zhǔn)確度，但是我只能實(shí)現(xiàn)82%的準(zhǔn)確度，因?yàn)槲也坏貌换ù罅康挠?jì)算才能使它適應(yīng)。那總比沒有好，但是我當(dāng)然希望我可以回去再培訓(xùn)，并有一個(gè)無休止的循環(huán)，以便我們可以更好地進(jìn)行協(xié)作?？梢詫⑵湟暈槭芟夼c理想之間的協(xié)作。

VentureBeat：我想知道這里聽起來熟悉的部分是相同還是非常不同，但是Dipti Vachani談到了汽車聯(lián)盟，以及每個(gè)人將如何在無人駕駛汽車上進(jìn)行合作，將其從原型制造到生產(chǎn)。她說我們不能在這些汽車中安裝超級(jí)計(jì)算機(jī)。我們必須將它們放入體積更小的，價(jià)格合理的設(shè)備中，然后才能投入生產(chǎn)。您所談?wù)摰膬?nèi)容是否有些相似?超級(jí)計(jì)算機(jī)已經(jīng)找到了這些算法，現(xiàn)在需要將這些算法降低到實(shí)際水平。

Roddy：是同樣的問題，對(duì)嗎?當(dāng)這些神經(jīng)網(wǎng)絡(luò)由數(shù)學(xué)家創(chuàng)建時(shí)，它們通常使用浮點(diǎn)算法。他們以無限的精度和本質(zhì)上無限的計(jì)算能力來抽象地進(jìn)行處理。如果您需要更多的計(jì)算能力，則可以啟動(dòng)更多刀片服務(wù)器，并啟動(dòng)整個(gè)數(shù)據(jù)中心。你在乎什么?如果您愿意將支票寫到Amazon或Google，則可以這樣做。

VentureBeat：但是您不能將數(shù)據(jù)中心放在汽車中。

上圖：無人駕駛汽車需要一個(gè)標(biāo)準(zhǔn)的車身才能到達(dá)終點(diǎn)線。位于明尼阿波利斯的VSI Labs在Arm TechCon上的研究工具。

羅迪：對(duì)。一旦確定了算法的形狀，它就會(huì)成為一個(gè)問題-您會(huì)聽到諸如量化，修剪，聚類之類的術(shù)語。您如何通過刪減實(shí)際上無關(guān)緊要的部分來降低復(fù)雜性?您的大腦中有許多神經(jīng)連接-試圖模仿大腦-但其中有一半是垃圾。他們中的一半做些真實(shí)的事情。有牢固的連接可以傳輸信息，而較弱的連接可以被刪除。如果您失去了一半的腦細(xì)胞，您仍然會(huì)認(rèn)識(shí)您的伴侶或配偶。受過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)也是如此。它們?cè)谙胂蟮纳窠?jīng)元之間有很多聯(lián)系。您可以擺脫其中的大多數(shù)，并且您仍然可以獲得相當(dāng)不錯(cuò)的準(zhǔn)確性。

VentureBeat：但您擔(dān)心，您擺脫的一件事是在某些情況下可以防止汽車撞毀。

羅迪：這是一個(gè)測(cè)試案例。如果我放棄了一半的計(jì)算，會(huì)發(fā)生什么?這就是所謂的再培訓(xùn)。重新培訓(xùn)，或更重要的是，要牢記目標(biāo)。訓(xùn)練不是假設(shè)數(shù)據(jù)中心或超級(jí)計(jì)算機(jī)具有無限容量，而是訓(xùn)練我只有有限的計(jì)算能力。

汽車就是一個(gè)很好的例子。假設(shè)距現(xiàn)在已有10年，您是XYZ德國零部件公司行人安全系統(tǒng)的實(shí)驗(yàn)室主任。您的算法在最新，最出色的雷克薩斯和梅賽德斯汽車中運(yùn)行。他們每個(gè)人都擁有價(jià)值5,000美元的計(jì)算硬件。您的算法還在運(yùn)行了9年的中國轎車上運(yùn)行，而該轎車恰好具有您的第一代系統(tǒng)。

您的一位科學(xué)家提出了最佳的新算法。準(zhǔn)確度提高了5%。好極了!無論如何，在梅賽德斯中，它的準(zhǔn)確率要高出5%，但您有義務(wù)(實(shí)際上您可能有一份合同，說您將按季度進(jìn)行更新)給另一個(gè)人。更糟糕的是，現(xiàn)在我們有來自10家汽車公司的17個(gè)平臺(tái)。您如何將這項(xiàng)新的數(shù)學(xué)發(fā)明應(yīng)用于所有這些地方?圍繞它必須有一些結(jié)構(gòu)化的自動(dòng)化。這是汽車財(cái)團(tuán)試圖在一個(gè)封閉領(lǐng)域中進(jìn)行的工作的一部分。

我們正在開發(fā)的技術(shù)圍繞“我們?nèi)绾蝿?chuàng)建這些橋梁?”的方式，例如，如何將模型放入開發(fā)人員使用的訓(xùn)練集中-TensorFlows，Caffes-允許他們說“ ，而不是假設(shè)我在云中運(yùn)行以進(jìn)行推理，如果我在智能門鈴中的2美元微控制器上運(yùn)行該怎么辦?有很多基礎(chǔ)設(shè)施可以使用。

無論好壞，它必須跨越整個(gè)行業(yè)。您必須在Facebook的數(shù)據(jù)科學(xué)家，XYZ Semiconductor的芯片專家，制造商以及試圖對(duì)它們進(jìn)行相互升級(jí)的軟件算法人員之間架起橋梁。