時(shí)間:2023-07-09|瀏覽:208
從遠(yuǎn)古時(shí)期原始人以龜甲刻字、結(jié)繩記事,再到計(jì)算機(jī)出現(xiàn)后陸續(xù)出現(xiàn)的軟盤、硬盤、U盤等,以適應(yīng)存儲(chǔ)數(shù)據(jù)量的增長(zhǎng)。隨著人工智能、大數(shù)據(jù)、云計(jì)算等技術(shù)的發(fā)展,人們與數(shù)據(jù)的關(guān)系越來越密不可分:4K、8K等超高清視頻帶來更好的視覺體驗(yàn);移動(dòng)支付、實(shí)時(shí)導(dǎo)航、智能音箱等讓生活更便捷輕松。
這就導(dǎo)致數(shù)據(jù)量呈指數(shù)級(jí)增長(zhǎng)。傳統(tǒng)的存儲(chǔ)方式無法滿足需求,存儲(chǔ)系統(tǒng)架構(gòu)需要變革,高效、易于擴(kuò)展的分布式存儲(chǔ)平臺(tái)應(yīng)運(yùn)而生。
根據(jù)IDC的數(shù)據(jù),到2025年,全球新創(chuàng)建的數(shù)據(jù)量將達(dá)到175ZB,而目前已存儲(chǔ)的數(shù)據(jù)只有1%左右。預(yù)計(jì)2018-2023年,企業(yè)級(jí)存儲(chǔ)裝機(jī)容量將以25.1%的復(fù)合年增長(zhǎng)率增長(zhǎng),其中約40%的存儲(chǔ)系統(tǒng)將采用分布式存儲(chǔ)架構(gòu)。
一、分布式存儲(chǔ)是什么?
我們先來講個(gè)小故事:
從前有個(gè)小村莊,村莊里有個(gè)不大不小的人工湖,村民們從幾公里外的山上挑水裝進(jìn)桶里。這樣自給自足地過了十幾年,由于村莊發(fā)展壯大,人口增加了,人工湖也越來越大。湖區(qū)擴(kuò)張占用了耕地,每次擴(kuò)建還要耗費(fèi)村民的時(shí)間和精力,村民們很不滿。
終于,村長(zhǎng)請(qǐng)教了鄰村的智多星先生,他要解決用水問題。
在智多星的幫助下,村里家家戶戶都打了水井。每口水井有不同的功能,有些可以用來洗衣沐浴,有些可以用來灌溉農(nóng)田。每當(dāng)有需要時(shí),村民只需向村長(zhǎng)咨詢,就能馬上找到符合自己需求的水井。
家家戶戶都有水井
地下水的多樣性滿足了村民對(duì)水量和質(zhì)量的需求,村民們又過上了安居樂業(yè)的生活。
在這個(gè)故事中,智多星先生通過分布式架構(gòu)解決了村民的用水問題。人工湖代表傳統(tǒng)的集中式存儲(chǔ),可以不斷增加的水井則相當(dāng)于分布式存儲(chǔ)中的節(jié)點(diǎn)。傳統(tǒng)存儲(chǔ)隨著數(shù)據(jù)增多,擴(kuò)展的代價(jià)和支持不同訪問方式的難度也在增加,還需要復(fù)制方案以確保數(shù)據(jù)安全。分布式存儲(chǔ)的特點(diǎn)則直接解決了這些問題。
二、分布式存儲(chǔ)的特點(diǎn)
分布式存儲(chǔ)利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷,并通過位置服務(wù)器定位存儲(chǔ)信息。它不僅提高了系統(tǒng)的可靠性、可用性和存取效率,還易于擴(kuò)展,將通用硬件的不穩(wěn)定因素降到了最低。
1. 支持分級(jí)存儲(chǔ)以保障高性能
分布式存儲(chǔ)通過將熱點(diǎn)數(shù)據(jù)映射到高速存儲(chǔ)中,提高系統(tǒng)的響應(yīng)速度。當(dāng)這些數(shù)據(jù)不再是熱點(diǎn)時(shí),存儲(chǔ)系統(tǒng)會(huì)將它們移出高速存儲(chǔ)。
可以將高速存儲(chǔ)和低速存儲(chǔ)分開部署,或者以任意比例混合部署。在不可預(yù)測(cè)的業(yè)務(wù)環(huán)境或敏捷應(yīng)用場(chǎng)景中,分層存儲(chǔ)能夠發(fā)揮最佳效果。寫緩存技術(shù)可以與高速存儲(chǔ)配合,明顯改善整體存儲(chǔ)的性能。
2. 多副本一致性和故障定位來實(shí)現(xiàn)高可靠性
分布式存儲(chǔ)通常采用一寫多讀的多副本強(qiáng)一致性技術(shù),保證多個(gè)數(shù)據(jù)副本之間的一致性。當(dāng)讀取數(shù)據(jù)失敗時(shí),系統(tǒng)可以從其他副本讀取數(shù)據(jù),重新寫入故障副本進(jìn)行恢復(fù)。
多時(shí)間點(diǎn)快照技術(shù)保存了一定時(shí)間間隔內(nèi)的多個(gè)數(shù)據(jù)版本,支持同時(shí)提取多個(gè)時(shí)間點(diǎn)樣本用于恢復(fù)。如果有多臺(tái)服務(wù)器或虛擬機(jī)可以用于系統(tǒng)恢復(fù),通過比較和分析,可以快速確定需要回復(fù)的時(shí)間點(diǎn),降低了故障定位的難度和時(shí)間消耗。還可以設(shè)定數(shù)據(jù)恢復(fù)的帶寬規(guī)則,最小化對(duì)業(yè)務(wù)的影響。
3. 彈性擴(kuò)展和異構(gòu)存儲(chǔ)的整合
只需將新節(jié)點(diǎn)和原有集群連接到同一網(wǎng)絡(luò),舊數(shù)據(jù)會(huì)自動(dòng)遷移到新節(jié)點(diǎn),實(shí)現(xiàn)負(fù)載均衡,避免單點(diǎn)過熱。當(dāng)節(jié)點(diǎn)添加到集群后,全局容量和性能也會(huì)線性擴(kuò)展,新節(jié)點(diǎn)的資源將由管理平臺(tái)接管,用于分配或回收。
分布式存儲(chǔ)首選使用行業(yè)標(biāo)準(zhǔn)接口(如SMI-S或OpenStackCinder)進(jìn)行存儲(chǔ)接入,通過將異構(gòu)存儲(chǔ)資源抽象化,將傳統(tǒng)的存儲(chǔ)設(shè)備級(jí)操作封裝成面向存儲(chǔ)資源的操作,實(shí)現(xiàn)集中管理存儲(chǔ)資源,并自動(dòng)執(zhí)行創(chuàng)建、變更、回收等存儲(chǔ)生命周期過程。
在當(dāng)前智能時(shí)代,數(shù)據(jù)呈現(xiàn)出海量、多元和非結(jié)構(gòu)化的特點(diǎn),企業(yè)的IT基礎(chǔ)設(shè)施正從云+邊的雙層架構(gòu)向云-邊-端的三層架構(gòu)進(jìn)化。存儲(chǔ)系統(tǒng)已成為需求響應(yīng)、軟件定義、智能化和多云部署的重要趨勢(shì)。
分布式平臺(tái)也將通過閃存等新型介質(zhì)對(duì)系統(tǒng)架構(gòu)產(chǎn)生重要影響,進(jìn)一步推動(dòng)存儲(chǔ)領(lǐng)域的變革。
熱點(diǎn):比特幣認(rèn)識(shí) 元宇宙認(rèn)識(shí) 認(rèn)識(shí)虛擬幣 幣圈存儲(chǔ) 比特幣存儲(chǔ)