數(shù)據(jù)存儲(chǔ)技術(shù)，云存儲(chǔ)的核心技術(shù)

來源：整理時(shí)間：2023-02-01 12:13:49 編輯：好學(xué)習(xí) 手機(jī)版

1，云存儲(chǔ)的核心技術(shù)

云計(jì)算系統(tǒng)的核心技術(shù)：并行計(jì)算。并行計(jì)算（ParallelComputing）是指同時(shí)使用多種計(jì)算資源解決計(jì)算問題的過程。通過并行計(jì)算集群完成數(shù)據(jù)的處理，再將處理的結(jié)果返回給用戶。　　1、編程模式；　　2、海量數(shù)據(jù)分布存儲(chǔ)技術(shù)；　　3、海量數(shù)據(jù)管理技術(shù)；　　4、虛擬化技術(shù)；　　5、云計(jì)算平臺(tái)管理技術(shù)；　　6、信息安全管理技術(shù)；7、運(yùn)維管理技術(shù)。

云存儲(chǔ)的核心是應(yīng)用軟件與存儲(chǔ)設(shè)備相結(jié)合，通過應(yīng)用軟件來實(shí)現(xiàn)存儲(chǔ)設(shè)備向存儲(chǔ)服務(wù)的轉(zhuǎn)變。

云存儲(chǔ)的核心技術(shù)

2，大數(shù)據(jù)時(shí)代數(shù)據(jù)應(yīng)該如何存儲(chǔ)

PB或多PB級(jí)基礎(chǔ)設(shè)施與傳統(tǒng)大規(guī)模數(shù)據(jù)集之間的差別簡(jiǎn)直就像白天和黑夜的差別，就像在筆記本電腦上處理數(shù)據(jù)和在RAID陣列上處理數(shù)據(jù)之間的差別。"當(dāng)Day在2009年加入Shutterfly時(shí)，存儲(chǔ)已經(jīng)成為該公司最大的開支，并且以飛快的速度增長(zhǎng)。"每N個(gè)PB的額外存儲(chǔ)意味著我們需要另一個(gè)存儲(chǔ)管理員來支持物理和邏輯基礎(chǔ)設(shè)施，"Day表示，"面對(duì)大規(guī)模數(shù)據(jù)存儲(chǔ)，系統(tǒng)會(huì)更頻繁地出問題，任何管理超大存儲(chǔ)的人經(jīng)常都要處理硬件故障。大家都在試圖解決的根本問題是：當(dāng)你知道存儲(chǔ)的一部分將在一段時(shí)間內(nèi)出現(xiàn)問題，你應(yīng)該如何確保數(shù)據(jù)可用性，同時(shí)確保不會(huì)降低性能？"RAID問題解決故障的標(biāo)準(zhǔn)答案是復(fù)制，通常以RAID陣列的形式。但Day表示，面對(duì)龐大規(guī)模的數(shù)據(jù)時(shí)，RAID解決問題的同時(shí)可能會(huì)制造更多問題。在傳統(tǒng)RAID數(shù)據(jù)存儲(chǔ)方案中，每個(gè)數(shù)據(jù)的副本都被鏡像和存儲(chǔ)在陣列的不同磁盤中，以確保完整性和可用性。但這意味著每個(gè)被鏡像和存儲(chǔ)的數(shù)據(jù)將需要其本身五倍以上的存儲(chǔ)空間。隨著RAID陣列中使用的磁盤越來越大（從密度和功耗的角度來看，3TB磁盤非常具有吸引力），更換故障驅(qū)動(dòng)器的時(shí)間也將變得越來越長(zhǎng)。"實(shí)際上，我們使用RAID并不存在任何操作問題，"Day表示，"我們看到的是，隨著磁盤變得越來越大，當(dāng)任何組件發(fā)生故障時(shí)，我們回到一個(gè)完全冗余的系統(tǒng)的時(shí)間增加。生成校驗(yàn)是與數(shù)據(jù)集的大小成正比的。當(dāng)我們開始使用1TB和2TB的磁盤時(shí)，回到完全冗余系統(tǒng)的時(shí)間變得很長(zhǎng)。可以說，這種趨勢(shì)并沒有朝著正確的方向發(fā)展。"對(duì)于Shutterfly而言，可靠性和可用性是非常關(guān)鍵的因素，這也是企業(yè)級(jí)存儲(chǔ)的要求。Day表示，其快速膨脹的存儲(chǔ)成本使商品系統(tǒng)變得更具吸引力。當(dāng)Day及其團(tuán)隊(duì)在研究潛在技術(shù)解決方案以幫助控制存儲(chǔ)成本時(shí)，他們對(duì)于一項(xiàng)叫做糾刪碼（erasure code）的技術(shù)非常感興趣。采用擦除代碼技術(shù)的下一代存儲(chǔ)里德-所羅門糾刪碼最初作為前向糾錯(cuò)碼（Forward Error Correction, FEC）用于不可靠通道的數(shù)據(jù)傳輸，例如外層空間探測(cè)的數(shù)據(jù)傳輸。這項(xiàng)技術(shù)還被用于CD和DVD來處理光盤上的故障，例如灰塵和劃痕。一些存儲(chǔ)供應(yīng)商已經(jīng)開始將糾刪碼納入他們的解決方案中。使用糾刪碼，數(shù)據(jù)可以被分解成幾塊，單塊分解數(shù)據(jù)是無用的，然后它們被分散到不同磁盤驅(qū)動(dòng)器或者服務(wù)器。在任何使用，這些數(shù)據(jù)都可以完全重組，即使有些數(shù)據(jù)塊因?yàn)榇疟P故障已經(jīng)丟失。換句話說，你不需要?jiǎng)?chuàng)建多個(gè)數(shù)據(jù)副本，單個(gè)數(shù)據(jù)就可以確保數(shù)據(jù)的完整性和可用性。基于糾刪碼的解決方案的早期供應(yīng)商之一是Cleversafe公司，他們添加了位置信息來創(chuàng)建其所謂的分散編碼，讓用戶可以在不同位置（例如多個(gè)數(shù)據(jù)中心）存儲(chǔ)數(shù)據(jù)塊或者說數(shù)據(jù)片。每個(gè)數(shù)據(jù)塊就其自身而言是無用的，這樣能夠確保隱私性和安全性。因?yàn)樾畔⒎稚⒓夹g(shù)使用單一數(shù)據(jù)來確保數(shù)據(jù)完整性和可用性，而不是像RAID一樣使用多個(gè)副本，公司可以節(jié)省多達(dá)90%的存儲(chǔ)成本。"當(dāng)你將試圖重組數(shù)據(jù)時(shí)，你并不一定需要提供所有數(shù)據(jù)塊，"Cleversafe公司產(chǎn)品策略、市場(chǎng)營(yíng)銷和客戶解決方案副總裁Russ Kennedy表示，"你生成的數(shù)據(jù)塊的數(shù)量，我們稱之為寬度，我們將重組數(shù)據(jù)需要的最低數(shù)量稱之為門檻。你生成的數(shù)據(jù)塊的數(shù)量和重組需要的數(shù)量之間的差異決定了其可靠性。同時(shí)，即使你丟失節(jié)點(diǎn)和驅(qū)動(dòng)器，你仍然能夠得到原來形式的數(shù)據(jù)。"

大數(shù)據(jù)時(shí)代數(shù)據(jù)應(yīng)該如何存儲(chǔ)

3，詳解大數(shù)據(jù)存儲(chǔ)哪些問題最容易出現(xiàn)

數(shù)據(jù)是重要的生產(chǎn)要素信息時(shí)代，數(shù)據(jù)儼然已成為一種重要的生產(chǎn)要素，如同資本、勞動(dòng)力和原材料等其他要素一樣，而且作為一種普遍需求，它也不再局限于某些特殊行業(yè)的應(yīng)用。各行各業(yè)的公司都在收集并利用大量的數(shù)據(jù)分析結(jié)果，盡可能的降低成本，提高產(chǎn)品質(zhì)量、提高生產(chǎn)效率以及創(chuàng)造新的產(chǎn)品。例如，通過分析直接從產(chǎn)品測(cè)試現(xiàn)場(chǎng)收集的數(shù)據(jù)，能夠幫助企業(yè)改進(jìn)設(shè)計(jì)。此外，一家公司還可以通過深入分析客戶行為，對(duì)比大量的市場(chǎng)數(shù)據(jù)，從而超越他的競(jìng)爭(zhēng)對(duì)手。存儲(chǔ)技術(shù)必須跟上隨著大數(shù)據(jù)應(yīng)用的爆發(fā)性增長(zhǎng)，它已經(jīng)衍生出了自己獨(dú)特的架構(gòu)，而且也直接推動(dòng)了存儲(chǔ)、網(wǎng)絡(luò)以及計(jì)算技術(shù)的發(fā)展。畢竟處理大數(shù)據(jù)這種特殊的需求是一個(gè)新的挑戰(zhàn)。硬件的發(fā)展最終還是由軟件需求推動(dòng)的，就這個(gè)例子來說，我們很明顯的看到大數(shù)據(jù)分析應(yīng)用需求正在影響著數(shù)據(jù)存儲(chǔ)基礎(chǔ)設(shè)施的發(fā)展。從另一方面看，這一變化對(duì)存儲(chǔ)廠商和其他IT基礎(chǔ)設(shè)施廠商未嘗不是一個(gè)機(jī)會(huì)。隨著結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)量的持續(xù)增長(zhǎng)，以及分析數(shù)據(jù)來源的多樣化，此前存儲(chǔ)系統(tǒng)的設(shè)計(jì)已經(jīng)無法滿足大數(shù)據(jù)應(yīng)用的需要。存儲(chǔ)廠商已經(jīng)意識(shí)到這一點(diǎn)，他們開始修改基于塊和文件的存儲(chǔ)系統(tǒng)的架構(gòu)設(shè)計(jì)以適應(yīng)這些新的要求。在這里，我們會(huì)討論哪些與大數(shù)據(jù)存儲(chǔ)基礎(chǔ)設(shè)施相關(guān)的屬性，看看它們?nèi)绾斡哟髷?shù)據(jù)的挑戰(zhàn)。容量問題這里所說的“大容量”通常可達(dá)到PB級(jí)的數(shù)據(jù)規(guī)模，因此，海量數(shù)據(jù)存儲(chǔ)系統(tǒng)也一定要有相應(yīng)等級(jí)的擴(kuò)展能力。與此同時(shí)，存儲(chǔ)系統(tǒng)的擴(kuò)展一定要簡(jiǎn)便，可以通過增加模塊或磁盤柜來增加容量，甚至不需要停機(jī)。基于這樣的需求，客戶現(xiàn)在越來越青睞Scale-out架構(gòu)的存儲(chǔ)。Scale-out集群結(jié)構(gòu)的特點(diǎn)是每個(gè)節(jié)點(diǎn)除了具有一定的存儲(chǔ)容量之外，內(nèi)部還具備數(shù)據(jù)處理能力以及互聯(lián)設(shè)備，與傳統(tǒng)存儲(chǔ)系統(tǒng)的煙囪式架構(gòu)完全不同，Scale-out架構(gòu)可以實(shí)現(xiàn)無縫平滑的擴(kuò)展，避免存儲(chǔ)孤島。“大數(shù)據(jù)”應(yīng)用除了數(shù)據(jù)規(guī)模巨大之外，還意味著擁有龐大的文件數(shù)量。因此如何管理文件系統(tǒng)層累積的元數(shù)據(jù)是一個(gè)難題，處理不當(dāng)?shù)脑挄?huì)影響到系統(tǒng)的擴(kuò)展能力和性能，而傳統(tǒng)的NAS系統(tǒng)就存在這一瓶頸。所幸的是，基于對(duì)象的存儲(chǔ)架構(gòu)就不存在這個(gè)問題，它可以在一個(gè)系統(tǒng)中管理十億級(jí)別的文件數(shù)量，而且還不會(huì)像傳統(tǒng)存儲(chǔ)一樣遭遇元數(shù)據(jù)管理的困擾。基于對(duì)象的存儲(chǔ)系統(tǒng)還具有廣域擴(kuò)展能力，可以在多個(gè)不同的地點(diǎn)部署并組成一個(gè)跨區(qū)域的大型存儲(chǔ)基礎(chǔ)架構(gòu)。延遲問題“大數(shù)據(jù)”應(yīng)用還存在實(shí)時(shí)性的問題。特別是涉及到與網(wǎng)上交易或者金融類相關(guān)的應(yīng)用。舉個(gè)例子來說，網(wǎng)絡(luò)成衣銷售行業(yè)的在線廣告推廣服務(wù)需要實(shí)時(shí)的對(duì)客戶的瀏覽記錄進(jìn)行分析，并準(zhǔn)確的進(jìn)行廣告投放。這就要求存儲(chǔ)系統(tǒng)在必須能夠支持上述特性同時(shí)保持較高的響應(yīng)速度，因?yàn)轫憫?yīng)延遲的結(jié)果是系統(tǒng)會(huì)推送“過期”的廣告內(nèi)容給客戶。這種場(chǎng)景下，Scale-out架構(gòu)的存儲(chǔ)系統(tǒng)就可以發(fā)揮出優(yōu)勢(shì)，因?yàn)樗拿恳粋€(gè)節(jié)點(diǎn)都具有處理和互聯(lián)組件，在增加容量的同時(shí)處理能力也可以同步增長(zhǎng)。而基于對(duì)象的存儲(chǔ)系統(tǒng)則能夠支持并發(fā)的數(shù)據(jù)流，從而進(jìn)一步提高數(shù)據(jù)吞吐量。有很多“大數(shù)據(jù)”應(yīng)用環(huán)境需要較高的IOPS性能，比如HPC高性能計(jì)算。此外，服務(wù)器虛擬化的普及也導(dǎo)致了對(duì)高IOPS的需求，正如它改變了傳統(tǒng)IT環(huán)境一樣。為了迎接這些挑戰(zhàn)，各種模式的固態(tài)存儲(chǔ)設(shè)備應(yīng)運(yùn)而生，小到簡(jiǎn)單的在服務(wù)器內(nèi)部做高速緩存，大到全固態(tài)介質(zhì)的可擴(kuò)展存儲(chǔ)系統(tǒng)等等都在蓬勃發(fā)展。并發(fā)訪問一旦企業(yè)認(rèn)識(shí)到大數(shù)據(jù)分析應(yīng)用的潛在價(jià)值，他們就會(huì)將更多的數(shù)據(jù)集納入系統(tǒng)進(jìn)行比較，同時(shí)讓更多的人分享并使用這些數(shù)據(jù)。為了創(chuàng)造更多的商業(yè)價(jià)值，企業(yè)往往會(huì)綜合分析那些來自不同平臺(tái)下的多種數(shù)據(jù)對(duì)象。包括全局文件系統(tǒng)在內(nèi)的存儲(chǔ)基礎(chǔ)設(shè)施就能夠幫助用戶解決數(shù)據(jù)訪問的問題，全局文件系統(tǒng)允許多個(gè)主機(jī)上的多個(gè)用戶并發(fā)訪問文件數(shù)據(jù)，而這些數(shù)據(jù)則可能存儲(chǔ)在多個(gè)地點(diǎn)的多種不同類型的存儲(chǔ)設(shè)備上。

詳解大數(shù)據(jù)存儲(chǔ)哪些問題最容易出現(xiàn)