我們生活在一個(gè)數(shù)據(jù)驅(qū)動(dòng)的世界中。成功的領(lǐng)先公司已經(jīng)掌握并實(shí)施了從連續(xù)收集的所有數(shù)據(jù)中提取洞察力和情報(bào)的過程。數(shù)據(jù)的使用帶來了業(yè)務(wù)模型的巨變，人工智能是將所有這些數(shù)據(jù)提煉成可行見解的主要技術(shù)。

ML / DL依賴于訓(xùn)練和推理，這兩者都需要快速執(zhí)行，并且大型數(shù)據(jù)集會(huì)順利通過管道。隨著訓(xùn)練數(shù)據(jù)集的增長(zhǎng)，這些算法的性能會(huì)更好，并且變得更加準(zhǔn)確。

根據(jù)Gartner [1]的說法，“機(jī)器學(xué)習(xí)和AI計(jì)劃的成功依賴于編排有效的數(shù)據(jù)管道，這些管道在AI管道的不同階段及時(shí)地以正確的格式提供了高質(zhì)量的數(shù)據(jù)。” 為了支持AI的數(shù)據(jù)密集型需求，公司需要可靠的存儲(chǔ)解決方案，該方案在數(shù)據(jù)流水線的所有階段(從攝取到訓(xùn)練和推理)都進(jìn)行了優(yōu)化。

IDC [2]最近的一項(xiàng)調(diào)查確定了AI部署的主要挑戰(zhàn)，即處理海量數(shù)據(jù)以及相關(guān)的質(zhì)量和數(shù)據(jù)管理問題。必須保持分布式數(shù)據(jù)集的高數(shù)據(jù)質(zhì)量，以防止出現(xiàn)偏倚和不正確的模型構(gòu)建，這不是一件容易的事。

隨著越來越多的海量數(shù)據(jù)集涌現(xiàn)AI實(shí)現(xiàn)，歡呼的數(shù)據(jù)量產(chǎn)生了自己的動(dòng)態(tài)和挑戰(zhàn)。在實(shí)現(xiàn)AI管道的位置來回移動(dòng)數(shù)據(jù)工作負(fù)載變得不切實(shí)際和/或成本過高。而是，數(shù)據(jù)保留在中央位置，并且相關(guān)的AI管道(即應(yīng)用程序堆棧)根據(jù)需要進(jìn)行了拉近。這稱為數(shù)據(jù)重力。

混合云

本地基礎(chǔ)架構(gòu)和公共云均用于支持AI計(jì)劃。在云計(jì)算領(lǐng)域的一端是創(chuàng)建于云中的云原生公司。另一類是已經(jīng)投資了本地基礎(chǔ)架構(gòu)并傾向于在數(shù)據(jù)中心或邊緣位置附近運(yùn)行AI管道任務(wù)的組織。數(shù)據(jù)重力對(duì)AI階段的執(zhí)行位置有重大影響。

盡管云服務(wù)提供商(CSP)可以通過彈性計(jì)算和相關(guān)服務(wù)來滿足AI工作負(fù)載，但數(shù)據(jù)重力是本地實(shí)施的驅(qū)動(dòng)因素，使混合云成為兩全其美。IDC的發(fā)現(xiàn)支持了這一點(diǎn)，即公有云在AI模型和工作負(fù)載的部署方面處于領(lǐng)先地位，緊隨其后的是本地私有云部署?；旌霞軜?gòu)允許將公共云用于其AI知識(shí)和彈性功能，同時(shí)支持跨邊界無縫訪問的本地?cái)?shù)據(jù)存儲(chǔ)。

AI和ML / DL針對(duì)不同的數(shù)據(jù)類型進(jìn)行訓(xùn)練，這需要不同的性能。因此，系統(tǒng)必須包含正確的存儲(chǔ)技術(shù)組合?；旌霞軜?gòu)可同時(shí)滿足規(guī)模和性能需求。

對(duì)象存儲(chǔ)

對(duì)象存儲(chǔ)是AI的首選技術(shù)，因?yàn)椋?a)使用AWS S3 API在私有云和公共云存儲(chǔ)之間進(jìn)行無縫訪問;(b)本機(jī)元數(shù)據(jù)標(biāo)記功能;以及(c)無限擴(kuò)展。

對(duì)象存儲(chǔ)技術(shù)是CSP不必要地發(fā)明的，早在2006年，AWS簡(jiǎn)單存儲(chǔ)服務(wù)(S3)就作為第一個(gè)對(duì)象存儲(chǔ)實(shí)現(xiàn)而啟動(dòng)。AWSS3 API從此成為事實(shí)上的標(biāo)準(zhǔn)。因此，對(duì)象存儲(chǔ)與AWS S3 API固有地兼容，這使其成為往返公共云的正確跳板，因此成為混合AI部署的基礎(chǔ)。再次根據(jù)定義，元數(shù)據(jù)標(biāo)記被烘焙到對(duì)象存儲(chǔ)中，這使其成為AI中常規(guī)使用的數(shù)據(jù)分段和索引工作流的完美匹配。人工智能的海量數(shù)據(jù)集以其固有的無限的云規(guī)模容量對(duì)象存儲(chǔ)而聞名。

AI數(shù)據(jù)集通常達(dá)到PB級(jí)，其性能要求可能會(huì)使整個(gè)基礎(chǔ)架構(gòu)無法承受。因此，AI不適合在傳統(tǒng)基礎(chǔ)架構(gòu)上運(yùn)行，這些基礎(chǔ)架構(gòu)面臨挑戰(zhàn)，無法滿足規(guī)模，彈性，計(jì)算能力，性能和數(shù)據(jù)管理的需求。

處理此類大規(guī)模培訓(xùn)和測(cè)試數(shù)據(jù)集時(shí)，解決存儲(chǔ)瓶頸(延遲和/或吞吐量問題)以及容量限制/障礙是成功的關(guān)鍵因素。AI / ML / DL工作負(fù)載需要一種存儲(chǔ)架構(gòu)，該架構(gòu)可以保持?jǐn)?shù)據(jù)流過管道，同時(shí)具有出色的原始I / O性能和容量擴(kuò)展能力。

可以使用經(jīng)典的兩層體系結(jié)構(gòu)來實(shí)現(xiàn)這種解決方案，其中一層專用于高性能閃存，而第二層則提供可伸縮的對(duì)象存儲(chǔ)。通常將其實(shí)現(xiàn)為兩個(gè)獨(dú)立的存儲(chǔ)服務(wù)器集群，以傳遞數(shù)據(jù)以加油并加速AI火箭。