時間:2023-07-31|瀏覽:304
大數(shù)據(jù)時代,數(shù)據(jù)存儲面臨新挑戰(zhàn)。數(shù)據(jù)存儲技術(shù)已成為數(shù)字經(jīng)濟發(fā)展過程中不可或缺的底層基座。然而,隨著非結(jié)構(gòu)化數(shù)據(jù)不斷增加,以服務(wù)器為中心的傳統(tǒng)分布式存儲方案在數(shù)據(jù)存儲容量,成本,速度,安全,穩(wěn)定,運維等方面已無法滿足海量數(shù)據(jù)存儲要求,已成為制約數(shù)字經(jīng)濟發(fā)展的一個瓶頸。
在此形式下,NVIDIA秉持打造低時延、高吞吐、高可靠、開放型基礎(chǔ)設(shè)施的設(shè)計理念,提出了基于IPFS的高性能InfiniBandSSD池化解決方案。該解決方案旨在解決傳統(tǒng)解決方案痛點,為海量數(shù)據(jù)存儲業(yè)務(wù)賦能。
傳統(tǒng)解決方案的痛點包括算力受限,使用成本高。傳統(tǒng)解決方案算力高低依賴CPU/GPU與SSD之間的數(shù)據(jù)傳輸帶寬,而CPU/GPU與SSD之間帶寬又受限于本機SSD的數(shù)量。在此情況下,提高SSD并行性雖可在一定范圍內(nèi)降低計算時間,但會增加集群的采購成本,并且無法做到無限擴容。另外,受限于本機一體架構(gòu)的制約,傳統(tǒng)解決方案通常也無法做到CPU計算與GPU計算的平衡。同時,SSD導(dǎo)致使用成本偏高。
NVIDIAIPFS網(wǎng)絡(luò)存儲解決方案是大數(shù)據(jù)時代的數(shù)據(jù)存儲新選擇。IPFS是一種點對點(P2P)的分布式文件系統(tǒng),可提供永久性和安全性存儲,保證數(shù)據(jù)的隱私性,提供更快的數(shù)據(jù)讀/寫速度,及無限擴展能力。NVIDIAIPFS網(wǎng)絡(luò)存儲解決方案從SSD池化入手,借助InfiniBand網(wǎng)絡(luò)極高的傳輸帶寬,基于Credit的流控技術(shù)保證傳輸報文不丟包高質(zhì)量傳輸,超低的傳輸時延等特性,將SSD從本地計算資源剝離出來,構(gòu)造成共享存儲資源池。
該解決方案可大幅提高SSD輸出傳輸?shù)膸挘行岣逽SD的使用率,從而提升了集群整體的數(shù)據(jù)封裝效能,降低了整體采購成本。同時,依托NVIDIA的故障快照及網(wǎng)絡(luò)管理等技術(shù),可提高自動化、管理、監(jiān)控方面的應(yīng)用水平,有效降低運維壓力。
NVIDIAIPFS網(wǎng)絡(luò)存儲解決方案還具備以下優(yōu)勢:超大容量,高性能彈性擴展;打破算力配比束縛,提高整體性能;復(fù)用率高,節(jié)約使用成本;簡化算力優(yōu)化配置,快速實現(xiàn)算力資源解耦;不同工作模式自由切換,封裝效率高。通過降低成本、快速適配各類業(yè)務(wù)場景,該解決方案為企業(yè)提供了更好的數(shù)據(jù)存儲方案。