融合存儲服務(wù)器：應(yīng)對不同類型大數(shù)據(jù)挑戰(zhàn)

大數(shù)據(jù)正和云計(jì)算一起，推動著整個(gè)IT產(chǎn)業(yè)的發(fā)展。所謂大數(shù)據(jù)，IDC對其的定義為：“為了更經(jīng)濟(jì)地從高頻率獲取的、大容量的、不同結(jié)構(gòu)和類型的數(shù)據(jù)中獲取價(jià)值而設(shè)計(jì)的新一代的架構(gòu)和技術(shù)。”大數(shù)據(jù)具有高容量、高價(jià)值、多樣化和持續(xù)性的特點(diǎn)，尤其是非結(jié)構(gòu)化的特性，使得大數(shù)據(jù)的保存、管理、挖掘等成為了當(dāng)前企業(yè)面臨的挑戰(zhàn)。而正因?yàn)槿绱�，大�?shù)據(jù)催生了一個(gè)迅猛發(fā)展的市場。有關(guān)數(shù)據(jù)顯示， 2010年全球大數(shù)據(jù)以及相關(guān)硬件、軟件和服務(wù)市場僅為30億美元，而到2015年該市場的規(guī)模將超過170億美元，平均年增長速度超過50%。

而智能手機(jī)、視頻、社交網(wǎng)絡(luò)、微博等媒介源源不斷地產(chǎn)生的海量的非結(jié)構(gòu)性數(shù)據(jù)，才是企業(yè)對大數(shù)據(jù)的最真實(shí)的感受。根據(jù)IDC的報(bào)告，未來十年全球大數(shù)據(jù)將增加50倍。僅在2011年，全球就產(chǎn)生了1.8ZB(也即1.8萬億GB)的大數(shù)據(jù)。毫無疑問，大數(shù)據(jù)將挑戰(zhàn)企業(yè)的存儲架構(gòu)及數(shù)據(jù)中心基礎(chǔ)設(shè)施等，也會引發(fā)云計(jì)算、數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、商業(yè)智能等應(yīng)用的連鎖反應(yīng)。

大數(shù)據(jù)造就Hadoop

大數(shù)據(jù)也給企業(yè)帶來了新的機(jī)遇。例如，通過評估某位客戶在網(wǎng)站上的行為，企業(yè)可以更好地了解他們需要什么支持或?qū)ふ沂裁串a(chǎn)品，或者弄清當(dāng)前天氣和其他條件對于送貨路線和時(shí)間安排的影響。此外，大數(shù)據(jù)分析更加注重實(shí)時(shí)性，特別是涉及到與網(wǎng)上交易或者金融類相關(guān)的應(yīng)用。比如，網(wǎng)絡(luò)成衣銷售行業(yè)的在線廣告推廣服務(wù)需要實(shí)時(shí)的對客戶的瀏覽記錄進(jìn)行分析，并準(zhǔn)確地進(jìn)行廣告投放。因而，未來將會有更多的TB級數(shù)據(jù)集用于商務(wù)智能和商務(wù)分析，這對計(jì)算和存儲甚至是分析平臺帶來了新的市場機(jī)會。

大數(shù)據(jù)的迅猛增加，使得傳統(tǒng)的數(shù)據(jù)分析軟件面對當(dāng)今的海量數(shù)據(jù)顯得力不從心。新的海量數(shù)據(jù)分析引擎已經(jīng)出現(xiàn)，如Apache的Hadoop、LexisNexis的HPCC系統(tǒng)和1010data的以云計(jì)算為基礎(chǔ)的分析服務(wù)。特別是開源的Hadoop，它已經(jīng)在過去5年之中證明了自己是市場中最成功的數(shù)據(jù)處理平臺。Hadoop將海量數(shù)據(jù)分解成較小的更易訪問的批量數(shù)據(jù)，并分發(fā)到多臺服務(wù)器來分析和處理，這種方式就像把一大塊食物分解成小塊更容易讓人消化一樣。

存儲和服務(wù)器融合支持開源Hadoop

Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，它可在單一的Linux平臺上使用，但是運(yùn)行在由機(jī)架服務(wù)器組成的集群才能更大地發(fā)揮它的力量。

由于大數(shù)據(jù)更加強(qiáng)調(diào)實(shí)時(shí)處理，Hadoop集群中的節(jié)點(diǎn)服務(wù)器除了對計(jì)算性能有更高的要求外，對存儲也是追求大容量，以便節(jié)點(diǎn)機(jī)直接對存儲在服務(wù)器內(nèi)部的數(shù)據(jù)進(jìn)行訪問和分析。而伴隨著英特爾等相關(guān)廠商的推動，服務(wù)器和存儲融合的趨勢愈發(fā)明顯，這也使得存儲服務(wù)器成為了Hadoop集群首選的計(jì)算平臺。

我們不妨來看看英特爾是如何推動存儲和服務(wù)器的融合的。

首先，x86架構(gòu)為兩者的融合提供基礎(chǔ)。隨著英特爾在處理器芯片的不懈開發(fā)，x86架構(gòu)不僅僅在服務(wù)器上獲得巨大的成功，很多存儲架構(gòu)也日趨采用英特爾處理器;其次，固態(tài)硬盤讓服務(wù)器存儲融合更為智能。隨著英特爾等固態(tài)硬盤廠商的大力推動下，固態(tài)硬盤的出現(xiàn)，使得服務(wù)器存儲在計(jì)算方面更趨智能;第三，海量存儲讓服務(wù)器更為充實(shí)，TB級大容量SATA盤的出現(xiàn)，使得服務(wù)器的容量得到極大的提升。

此外，作為SAS技術(shù)的推動者之一，英特爾在其Romley平臺上集成SAS交換功能，這實(shí)際上也是服務(wù)器與存儲走向融合的一種體現(xiàn)，這種做法能夠讓系統(tǒng)廠商充分利用系統(tǒng)主板空間和PCI-E端口資源，降低系統(tǒng)開發(fā)復(fù)雜性和成本，并讓用戶在系統(tǒng)使用和系統(tǒng)維護(hù)工作上更加簡單和容易。

“Hadoop+至強(qiáng)”意味著什么?

以上種種，讓人們看到了服務(wù)器和存儲融合的趨勢日漸明顯，也使得企業(yè)在構(gòu)建Hadoop集群時(shí)將高存儲容量的x86機(jī)架服務(wù)器當(dāng)作了不二之選。中國聯(lián)通和百度就是這樣來應(yīng)對大數(shù)據(jù)挑戰(zhàn)的。

首先說說聯(lián)通。伴隨著智能手機(jī)的普及，廣大用戶利用手機(jī)上網(wǎng)和社交越來越頻繁，這也帶來了一個(gè)新的挑戰(zhàn)：用戶想清清楚楚了解自己的上網(wǎng)流量究竟用在了哪里?在這種狀況下，聯(lián)通從去年開始部署針對移動互聯(lián)網(wǎng)用戶的上網(wǎng)記錄查詢系統(tǒng)。

而實(shí)際上，用戶即使是簡單地訪問一個(gè)新浪的首頁，上網(wǎng)記錄查詢系統(tǒng)也會產(chǎn)生20多條記錄，這樣每天產(chǎn)生的數(shù)據(jù)簡直是天量。此前聯(lián)通曾經(jīng)試圖用甲骨文數(shù)據(jù)庫來解決該問題，但經(jīng)過測試后發(fā)現(xiàn)關(guān)系型數(shù)據(jù)庫處理到百億條數(shù)據(jù)時(shí)就顯得無能為力了，一次簡單的查詢可能幾個(gè)小時(shí)都出不來結(jié)果。

為此，聯(lián)通嘗試采用英特爾至強(qiáng)平臺的服務(wù)器集群和英特爾Hadoop發(fā)行版組合的方式來解決該問題，并收到了良好的效果。目前，聯(lián)通Hadoop系統(tǒng)集中部署在北京，各省的數(shù)據(jù)每5分鐘生成一個(gè)文件往北京傳輸并被保存和有效管理。采用Hadoop技術(shù)后，用戶輸入中國聯(lián)通任何一個(gè)城市的號碼，其上網(wǎng)記錄只需一兩秒就可以檢索出來。

中國聯(lián)通研究院副院長黃文良介紹，聯(lián)通Hadoop集群系統(tǒng)的“主力軍”是178臺基于英特爾至強(qiáng)5600處理器的兩路刀片服務(wù)器，每臺服務(wù)器配備了高達(dá)14TB存儲容量。此外，系統(tǒng)還配有NameNode節(jié)點(diǎn)服務(wù)器、入庫服務(wù)節(jié)點(diǎn)服務(wù)器、集群監(jiān)控節(jié)點(diǎn)等若干臺，也都是基于英特爾架構(gòu)處理器平臺的x86服務(wù)器。從聯(lián)通Hadoop解決方案來看，融合存儲服務(wù)器成為了大數(shù)據(jù)處理的“中流砥柱”。

再來看看百度。百度是國內(nèi)較早開始探索Hadoop大數(shù)據(jù)解決之道的互聯(lián)網(wǎng)企業(yè)。百度從2007年開始使用Hadoop做離線處理業(yè)務(wù)，目前有80%的Hadoop集群用作日志處理。同其它互聯(lián)網(wǎng)企業(yè)面臨的相同麻煩是，Hadoop在百度經(jīng)過5到6年發(fā)展之后，也已經(jīng)走到了一個(gè)岔路口。現(xiàn)在百度每天的作業(yè)數(shù)超過了千萬，每天的數(shù)據(jù)處理量在6TB左右。

2011年，百度Hadoop集群的服務(wù)器規(guī)模達(dá)到了1萬多臺，2012年計(jì)劃達(dá)到2萬臺。目前百度的服務(wù)器大部分是價(jià)格在2到3萬元的基于英特爾架構(gòu)的定制化服務(wù)器，標(biāo)配12個(gè)1TB硬盤，32GB內(nèi)存。百度高級架構(gòu)師馬如悅介紹，百度的Hadoop集群規(guī)模的目標(biāo)是10萬節(jié)點(diǎn)，而且需要充分考慮跨機(jī)房部署的問題。為此，百度正在對Hadoop的擴(kuò)展上限進(jìn)行研發(fā)，看一旦到了上限是否需要拆分。百度還計(jì)劃將Hadoop升級到2.0版本，主要是解決Hadoop主節(jié)點(diǎn)的可擴(kuò)展性問題。

以上兩則例子充分說明，開源的Hadoop已經(jīng)成為應(yīng)對大數(shù)據(jù)挑戰(zhàn)的有效利器，而Hadoop集群的基礎(chǔ)則是大存儲容量的英特爾架構(gòu)服務(wù)器，它們的高性能和大容量，以及直接在機(jī)器內(nèi)部快速傳輸數(shù)據(jù)的特性，成為了大數(shù)據(jù)的應(yīng)對之道。

服務(wù)器租用/服務(wù)器托管中國五強(qiáng)！虛擬主機(jī)域名注冊頂級提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]