海量非結(jié)構(gòu)化數(shù)據(jù)存儲問題初探

電力企業(yè)非結(jié)構(gòu)化數(shù)據(jù)存儲及管理現(xiàn)狀

1　電力企業(yè)檔案非結(jié)構(gòu)化數(shù)據(jù)的存儲特點

與傳統(tǒng)檔案的館藏資源相比，數(shù)字檔案館信息資源有其自身的特點。從存儲的角度來考慮，數(shù)字檔案館館藏數(shù)字資源具有以下特點：

(1)存儲容量大。數(shù)字檔案館的各種數(shù)字化信息如流媒體、歷史檔案等的增長也將一直持續(xù)下去。存儲信息的度量單位由MB，GB向TB，PB轉(zhuǎn)變，其存儲的數(shù)據(jù)總量達(dá)到了海量規(guī)模。

(2)媒體形式多。數(shù)字檔案館館藏包括數(shù)字化的文書、圖紙、實物、照片、電子出版物、互聯(lián)網(wǎng)內(nèi)容、政府文件等各種各樣的人文與科學(xué)數(shù)據(jù)資源。其存儲媒介已不限于印刷體，它包含文本、聲音、圖像、影視等多種媒體形式，數(shù)據(jù)類型復(fù)雜。

(3)快速增長。近幾年來，檔案館數(shù)字資源呈幾何級數(shù)增長，數(shù)字檔案和全文數(shù)據(jù)庫是數(shù)字檔案館藏資源的重要增長點。如各企業(yè)正在進(jìn)行的歷史檔案的數(shù)字化工作，將會使數(shù)字館藏迅猛增長。

2　電力企業(yè)非結(jié)構(gòu)化數(shù)據(jù)存儲管理的現(xiàn)狀

目前電力企業(yè)對非結(jié)構(gòu)化數(shù)據(jù)的存儲方式有如下幾種方式：

(1)直接存儲在結(jié)構(gòu)化數(shù)據(jù)庫的BLOB字段中。目前電力企業(yè)大部分的應(yīng)用系統(tǒng)中的非結(jié)構(gòu)化數(shù)據(jù)，如報告、報表、圖片等都是以二進(jìn)制的格式保存在結(jié)構(gòu)化數(shù)據(jù)庫的BLOB字段中。保存在BLOB字段中的好處是調(diào)用文件的速度很快，維護(hù)和管理簡單，與其他應(yīng)用系統(tǒng)沒有任何關(guān)聯(lián)；缺點一是由于非結(jié)構(gòu)化數(shù)據(jù)文件大，在數(shù)據(jù)量不斷增大的情況下，會使得結(jié)構(gòu)化數(shù)據(jù)庫迅速膨脹，導(dǎo)致數(shù)據(jù)庫性能下降，進(jìn)而影響整個應(yīng)用系統(tǒng)的性能；二是由于各個應(yīng)用系統(tǒng)相對封閉和獨立，其他應(yīng)用無法共享相關(guān)文檔資料。

(2)以FTP上傳的方式保存到文件服務(wù)器中。以這種方式保存非結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用較少，比較典型的應(yīng)用有數(shù)字檔案館、知識管理和網(wǎng)站。

(3)通過文件系統(tǒng)直接存儲在文件服務(wù)器中。對于大多數(shù)沒有應(yīng)用系統(tǒng)的非結(jié)構(gòu)化數(shù)據(jù)，如信息管理部門常用的工具軟件、開發(fā)的應(yīng)用系統(tǒng)軟件、源代碼、開發(fā)過程文檔、技術(shù)研究資料等，新聞中心的素材、資料等通常都是將文件直接存儲到文件服務(wù)器中。

海量非結(jié)構(gòu)化數(shù)據(jù)存儲整合

在數(shù)字檔案館建設(shè)過程中發(fā)現(xiàn)，企業(yè)各類業(yè)務(wù)系統(tǒng)都有數(shù)字資源的歸檔要求。面對各業(yè)務(wù)系統(tǒng)各自為戰(zhàn)的存儲系統(tǒng)，許多企業(yè)都正在評估和選擇實現(xiàn)信息資源整合的最佳途徑，而其中絕大多數(shù)所瞄準(zhǔn)的都是基于文件結(jié)構(gòu)使用SAN或NAS進(jìn)行整合的方式。

1　數(shù)據(jù)整合的驅(qū)動因素

進(jìn)行存儲系統(tǒng)整合的根本目的是為了減少存儲資源的數(shù)量。目前文件服務(wù)系統(tǒng)的規(guī)模會隨著新增企業(yè)應(yīng)用的部署和新的擴(kuò)展需求而不斷增長，最終會形成一個擁有越來越多文件服務(wù)器的龐大的文件服務(wù)環(huán)境。這種復(fù)雜的文件服務(wù)環(huán)境是不利于業(yè)務(wù)系統(tǒng)數(shù)字資源的管理、歸檔的。下面對非結(jié)構(gòu)化數(shù)據(jù)存儲整合的驅(qū)動因素逐一論述。

降低管理成本

系統(tǒng)整合所帶來的一個好處就是能夠減少企業(yè)的IT管理工作。隨著需要管理的存儲設(shè)備的減少，處理這些管理任務(wù)所需要用到(續(xù)致信網(wǎng)上一頁內(nèi)容)的人力資源也可以相應(yīng)地減少。而如果任隨這些系統(tǒng)不斷增長，隨著時間的推移，最終將積累起大量的文件服務(wù)器資源，這些資源的維護(hù)對IT人員來說將是一個極大的負(fù)擔(dān)。

經(jīng)濟(jì)利益

存儲系統(tǒng)整合的實現(xiàn)同樣會對企業(yè)的經(jīng)濟(jì)產(chǎn)生極大的正面促進(jìn)作用。當(dāng)企業(yè)將多個系統(tǒng)整合成一個之后，就能夠節(jié)省下多余的軟件許可費用和磁盤空間，得以節(jié)省大量的IT成本。更重要的是，IT管理員花費在管理這些系統(tǒng)進(jìn)行軟硬件更新和解決相關(guān)問題上的時間也能夠得到極大的節(jié)省。

資產(chǎn)保護(hù)

實現(xiàn)存儲系統(tǒng)整合的另一個基本的驅(qū)動因素就是要更好地進(jìn)行企業(yè)資產(chǎn)的保護(hù)。備份機制是否為數(shù)據(jù)提供了足夠的保護(hù)?有沒有合適的安全控制?如果這些過程都能夠從中央來統(tǒng)一進(jìn)行管理和控制，那么以前所必須要進(jìn)行的備份次數(shù)以及系統(tǒng)的安全控制點都能夠大大減少，企業(yè)就將有機會確保企業(yè)資產(chǎn)都得到了完善的保護(hù)。

2　實現(xiàn)整合的不同方式

目前在整合多個存儲系統(tǒng)時有多種不同的方式可供選擇。一種方式是企業(yè)購買一個大型NAS設(shè)備并淘汰掉其他小型的存儲系統(tǒng)，在整個企業(yè)范圍內(nèi)只存在一個存儲系統(tǒng)；另一種方式是采用虛擬數(shù)據(jù)中心的方式，也就是說其他已有的小型存儲設(shè)備都隱藏在一個中央存儲系統(tǒng)之后或分散在不同的物理地點，所有的資源實際上和以往一樣都仍然存在，但只會有一個單一的數(shù)據(jù)界面需要管理。

文件服務(wù)器整合

存儲系統(tǒng)整合的第一種類型是針對那些被部署用于解決某個特定應(yīng)用需求的單獨的文件服務(wù)器。在原有的基礎(chǔ)架構(gòu)之下，越來越多的文件服務(wù)器會隨著新增企業(yè)應(yīng)用的上線而被獨立部署到企業(yè)IT環(huán)境中，企業(yè)的存儲系統(tǒng)將無法避免地變得越來越膨脹。文件服務(wù)器整合的目標(biāo)是通過設(shè)施整合將系統(tǒng)控制在一個更小的機構(gòu)，比如一個工作小組或一個部門中統(tǒng)一集中起來。常見的處理問題的方法是安裝部署一個“全功能盒子”或類似的設(shè)備將那些多個文件服務(wù)器結(jié)合在一起并放到一個統(tǒng)一的平臺上去。

非結(jié)構(gòu)化數(shù)據(jù)的整合

現(xiàn)在企業(yè)普遍都有一個同的認(rèn)識，即一個更大型的NAS系統(tǒng)有助于增強存儲系統(tǒng)擴(kuò)容性方面的能力并且能夠消除分布各處的獨立的存儲設(shè)備，但存在整合過程較為復(fù)雜以及成本過高的問題。而這種中央化整合或者說通過虛擬數(shù)據(jù)中心管理的軟件可以將數(shù)據(jù)中心的存儲設(shè)備與分散的文件服務(wù)器進(jìn)行整合。建立虛擬的非結(jié)構(gòu)化數(shù)據(jù)中心不僅能夠統(tǒng)一管理分布在各個物理地點的存儲設(shè)備，而且為管理員和客戶提供了唯一的訪問路徑，顯然更加符合企業(yè)不斷擴(kuò)展、多個物理數(shù)據(jù)中心并存的現(xiàn)實狀況。

服務(wù)器租用/服務(wù)器托管中國五強！虛擬主機域名注冊頂級提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]