大數(shù)據(jù)分析公司Databricks Inc.加強(qiáng)了對人工智能工作負(fù)載的關(guān)注，今天宣布對其Unified Analytics Platform進(jìn)行重大更新，該更新應(yīng)有助于解鎖為這些工作負(fù)載提供動力并簡化機(jī)器學(xué)習(xí)流程所需的孤立數(shù)據(jù)。

Databricks表示，它已經(jīng)發(fā)現(xiàn)了一些導(dǎo)致組織無法成功利用AI技術(shù)進(jìn)行創(chuàng)新的主要問題。

Databricks聯(lián)合創(chuàng)始人兼首席執(zhí)行官Ali Ghodsi(如圖)在接受SiliconANGLE采訪時說：“我們正處于機(jī)器學(xué)習(xí)革命的風(fēng)口浪尖，并且看到越來越多的公司開始進(jìn)行項(xiàng)目。” 他說，結(jié)果是，他們需要工具來簡化大規(guī)模的機(jī)器學(xué)習(xí)，而不必雇用非常稀少和昂貴的數(shù)據(jù)科學(xué)家。

Ghodsi說，問題在于企業(yè)被迫使用大量未連接的工具來實(shí)現(xiàn)這一目標(biāo)。但是，不同的工具會同時造成組織和技術(shù)孤島，從而導(dǎo)致摩擦，從而減慢了AI項(xiàng)目的進(jìn)度。

Enterprise Strategy Group Inc.高級分析師Mike Leone說：“組織被告知要利用AI，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)，但是目前該領(lǐng)域的復(fù)雜性從未如此高。”為滿足每個特定用例的通用工具包和框架，對簡化現(xiàn)有功能的需求不斷增長。對于那些剛剛開始采用或在采用過程中處于早期階段的組織而言，這尤其重要。”

該公司表示，訓(xùn)練機(jī)器學(xué)習(xí)算法的主要問題之一是開發(fā)過程仍然是臨時性的，幾乎沒有可用的工具來再現(xiàn)結(jié)果，跟蹤實(shí)驗(yàn)和管理模型。為了解決這個問題，Databricks引入了一個新的機(jī)器學(xué)習(xí)工具包，稱為“ MLflow”，該工具包旨在幫助公司更好地打包機(jī)器學(xué)習(xí)代碼，執(zhí)行和測試它，并最終將其部署到生產(chǎn)中。

Databricks首席技術(shù)專家Matei Zaharia說：“沒有用于機(jī)器學(xué)習(xí)的工具包，這迫使組織將關(guān)鍵解決方案拼湊在一起，并確保高度專業(yè)化的技能來實(shí)現(xiàn)AI。” “ MLflow是一個統(tǒng)一的工具包，用于以可重復(fù)的方式開發(fā)機(jī)器學(xué)習(xí)應(yīng)用程序，同時可以靈活地跨多個云環(huán)境可靠地在生產(chǎn)中進(jìn)行部署。”

Ghodsi說，Zaharia過去一年一直在開發(fā)的工具包已經(jīng)引起了大型企業(yè)的興趣。“我們希望MLflow將成為機(jī)器學(xué)習(xí)的標(biāo)準(zhǔn)語言”。

Leone表示：“有了MLflow，組織將能夠從頭到尾管理ML生命周期，包括通過不言而喻地標(biāo)準(zhǔn)化現(xiàn)有工具包/框架(跨首選部署選項(xiàng))到模型的生產(chǎn)和部署到生產(chǎn)中。” 。“與處理互操作性問題相反，您將能夠直接進(jìn)入ML測試階段。”

Databricks已經(jīng)確定的第二個問題與深度學(xué)習(xí)有關(guān)，深度學(xué)習(xí)是用于訓(xùn)練應(yīng)用程序(例如自然語言處理，圖像分類和對象檢測)的AI的子集。但是，將這些模型改進(jìn)到可以使用的唯一方法是為它們提供越來越多的數(shù)據(jù)，這需要花費(fèi)大量時間。Databricks表示，企業(yè)已使用Tensorflow，Keras和Horovod等各種深度學(xué)習(xí)框架來幫助加快處理速度，但發(fā)現(xiàn)自己變得笨拙得多。

為了幫助組織更好地處理此問題，Databricks推出了一項(xiàng)名為“ ML的運(yùn)行時”的新功能，該功能提供了與這些流行框架集成的用于深度學(xué)習(xí)的預(yù)配置環(huán)境。該公司還增加了對Amazon Web Services和Microsoft Azure云上的圖形處理單元芯片的支持，使數(shù)據(jù)科學(xué)家能夠在單個統(tǒng)一引擎上訓(xùn)練，評估和部署其深度學(xué)習(xí)模型。

Leone說：“ ML的運(yùn)行時將有助于跟蹤和重現(xiàn)實(shí)驗(yàn)，從而加快模型構(gòu)建的速度。” “對于部署，MLflow將使組織能夠以所需的方式輕松地部署ML模型(無論是本地部署還是跨云部署)，并在部署后提供集成和監(jiān)視。這不僅可以解決組織在將ML模型移入生產(chǎn)環(huán)境而且要維護(hù)它們時面臨的困難。”

Ghodsi還強(qiáng)調(diào)了Databricks的 Delta數(shù)據(jù)倉庫的功能，該數(shù)據(jù)倉庫可用于清理和準(zhǔn)備數(shù)據(jù)，從而可以用于訓(xùn)練AI模型。例如，蘋果公司已將其用于所有內(nèi)部威脅和異常檢測，每周收集近PB的新數(shù)據(jù)。Ghodsi表示，他認(rèn)為Delta將是六年多來最大的技術(shù)進(jìn)步，它是實(shí)現(xiàn)更快的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的最大技術(shù)進(jìn)步，它將在本月底全面上市。

與SiliconANGLE隸屬于同一公司的Wikibon分析師James Kobielus表示，這些更新意味著Databricks現(xiàn)在是極少數(shù)可以幫助開發(fā)人員從準(zhǔn)備到建模一直從事機(jī)器學(xué)習(xí)，深度學(xué)習(xí)和其他人工智能項(xiàng)目的公司之一以及在復(fù)雜的混合云中進(jìn)行操作培訓(xùn)。他還稱贊了新功能為開發(fā)人員提供的敏捷性。

Kobielus說：“開發(fā)人員可以在Databricks環(huán)境中使用他們選擇的領(lǐng)先建?？蚣埽瑥亩顾麄兡軌蛴行У財U(kuò)展具有事務(wù)完整性的數(shù)據(jù)工程。” “他們可以并行執(zhí)行和比較數(shù)百個并行AI建模/培訓(xùn)'實(shí)驗(yàn)'，并利用此管道中的任何硬件或軟件平臺。他們可以將訓(xùn)練有素的模型部署到各種生產(chǎn)服務(wù)器平臺和云。通過這些公告，Databricks滿足了當(dāng)今開發(fā)人員對簡單，健壯和工業(yè)級管道的需求，以支持最苛刻的AI項(xiàng)目。”

最新版本的Databricks的Unified Analytics Platform提供了這些新功能。

Databricks在八月份籌集了1.4億美元的后期階段資金，最近一直很忙。3月，該公司將其旗艦分析平臺作為Azure中的一項(xiàng)集成服務(wù)(稱為 Microsoft Azure Databricks)提供， 以幫助客戶更好地處理在那里存儲的大量數(shù)據(jù)。