Twitter宕機背后：兩套數(shù)據(jù)系統(tǒng)同時癱瘓

位于美國加州中部的薩克拉門托（Sacramento）有三個身份：1850年代的淘金人口集散地、如今的加州州府和Twitter的數(shù)據(jù)中心。

7月26日上午8點20分，這個數(shù)據(jù)中心停止了工作。當(dāng)你輸入Twitter網(wǎng)址時，你會看到頁面顯示“Twitter目前因某些原因宕機，預(yù)計稍后恢復(fù)”的提示。這種狀況持續(xù)了兩個多小時，直到10點25分，Twitter才恢復(fù)正常。部分用戶懷疑這和7月27日開幕的倫敦奧運會有關(guān)。

盡管Twitter的運營團隊通過后臺的流量圖看到了即將到來的奧運會熱潮對各項指標(biāo)的拉升—這種可預(yù)期的、能帶來大流量的事件，Twitter一般都會提前做準(zhǔn)備，然而意外還是發(fā)生了。

在Twitter的預(yù)案里，如果這里發(fā)生了洪水、地震或者其他任何有可能導(dǎo)致服務(wù)器停止工作的問題，距離薩克拉門托965公里的另一個數(shù)據(jù)中心就會開始工作，它位于托管服務(wù)商Raging Wire旗下的一處建筑內(nèi)，當(dāng)然，情況也可能相反：Raging Wire這邊出了問題，薩克拉門托開始工作。

無論哪一種情況，Twitter希望保證的是用戶的不間斷使用體驗，即便是遠(yuǎn)在大洋彼岸的用戶，也可以正常地把自己的消息Tweet出去，而不會感受到服務(wù)中斷。

對于互聯(lián)網(wǎng)公司而言，在線就是生命。Facebook早期迅速積累用戶并不是由于它來自哈佛大學(xué)的好名聲，而是它幾乎從不宕機。這與當(dāng)時強勁的競爭對手MySpace形成了鮮明對照。

但在7月26日這一天，Twitter兩個數(shù)據(jù)中心同時發(fā)生故障，全球用戶的Twitter服務(wù)中止。Twitter提供的解釋是由于“基礎(chǔ)設(shè)施元件中的級聯(lián)式漏洞”，但沒有公布更詳細(xì)的信息。在Twitter的成長史上幾乎每年都會有多次重大宕機事故，宕機時網(wǎng)站就會顯示出一幅有趣的圖片：幾只小鳥用線艱難地拉起一頭擱淺的鯨魚。

這是Twitter在兩個月之內(nèi)的第二次重大宕機故障。此前一次是6月21日，Twitter停止服務(wù)將近兩個多小時。

Twitter負(fù)責(zé)工程技術(shù)的副總裁拉瓦德（Mazen Rawashdeh）事后解釋說，Twitter在數(shù)據(jù)中心有兩套能互相備份的數(shù)據(jù)系統(tǒng)同時出現(xiàn)了故障，這是基礎(chǔ)設(shè)施上的“巧合事件”。通常情況下，如果一個系統(tǒng)出現(xiàn)故障，那么另一個將被緊急啟用。而兩套系統(tǒng)同時出現(xiàn)問題則比較少見，為避免類似故障重演，Twitter稱計劃對基礎(chǔ)設(shè)施大幅投資。

數(shù)據(jù)中心問題一直困擾著Twitter.截至3月，Twitter已有1.4億活躍用戶，每天會發(fā)出3.4億條Tweet.隨著用戶量和信息讀寫量的增長，Twitter迫切需要一個能自我完全掌控的數(shù)據(jù)中心。

Twitter早期租用第三方的數(shù)據(jù)服務(wù)，之后計劃轉(zhuǎn)向租用位于猶他州鹽湖城的定制化數(shù)據(jù)中心，然而在去年該數(shù)據(jù)中心卻出現(xiàn)了漏雨、電力不足等問題，于是Twitter不得不改變其計劃，另謀他處。

在同一天，悲催的不僅僅是Twitter.谷歌（微博）的即時通訊服務(wù)Gtalk也在早上6點40分發(fā)生故障，并遲遲沒有被修復(fù)。有用戶報告，微軟（微博）旗下面對企業(yè)客戶的云服務(wù)工具Windows Azure在西歐地區(qū)也發(fā)生了宕機問題。

在宕機這段時間內(nèi)，Gtalk用戶發(fā)現(xiàn)雖然能夠登錄，但無法像以往一樣正常發(fā)送信息以及進行語音、視頻聊天。他們持續(xù)接到谷歌通過網(wǎng)頁更新的問題修復(fù)狀態(tài)通知，時間單位大約為半小時，而這一狀態(tài)持續(xù)了近5個小時，算是谷歌史上罕見的長時間故障。習(xí)慣線上溝通的用戶們不得不轉(zhuǎn)向其他工具，有人說，接連兩起宕機事件讓他們有一種“全球停電”的感覺。

谷歌的數(shù)據(jù)中心分布全球且多達20多個，目前無法得知是哪一塊數(shù)據(jù)中心發(fā)生了故障以致Gtalk癱瘓，谷歌至今也未解釋具體原因。

世界正在變成一個由數(shù)據(jù)洪流組成的存在，而整個世界也因幾個重要信息節(jié)點而相互連接在一起。但即使是像谷歌這樣著名的互聯(lián)網(wǎng)公司也無法保證自己所有的服務(wù)全年都不出問題。

據(jù)谷歌稱，其最受歡迎的服務(wù)Gmail電子郵件服務(wù)2010年全年宕機時間為7分鐘，這已經(jīng)是業(yè)內(nèi)最短時間。根據(jù)Radicati Group的數(shù)據(jù)，電子郵件系統(tǒng)平均宕機時間為每月3.8小時。對比起來，Gmail可謂優(yōu)秀。

一般造成系統(tǒng)不穩(wěn)定甚至宕機的原因是多樣的，開發(fā)安卓手機管理工具豌豆莢的豌豆實驗室技術(shù)總監(jiān)高磊對《第一財經(jīng)周刊》介紹，在用戶使用網(wǎng)站服務(wù)時，從用戶輸入信息，網(wǎng)絡(luò)傳送信息給網(wǎng)站服務(wù)器，網(wǎng)站服務(wù)器按照程序?qū)τ脩粢�求進行處理，將結(jié)果返還用戶，整個過程中其中一個環(huán)節(jié)出現(xiàn)問題就會導(dǎo)致網(wǎng)站的服務(wù)受到影響，甚至發(fā)生宕機而不可用。

引發(fā)問題的潛在因素多種多樣，包括網(wǎng)站自身程序、服務(wù)器的操作系統(tǒng)、硬件設(shè)備、機房與網(wǎng)絡(luò)運營商等基礎(chǔ)設(shè)施。

如果網(wǎng)站自身程序有Bug，可能會導(dǎo)致使用變慢，或部分功能失效；服務(wù)器的操作系統(tǒng)也會出現(xiàn)漏洞，比如裝有Linux部分版本的服務(wù)器就在本月因為閏秒問題而宕機；服務(wù)器硬件本身損壞，比如硬盤或內(nèi)存都存在一定物理故障的機率。

而在基礎(chǔ)設(shè)施上，機房停電或進水、遭到雷擊等也會造成設(shè)備停止運行。最基礎(chǔ)的問題是過熱，因此大型數(shù)據(jù)中心旁邊一般都有冷卻裝置。

6月底，美國一場風(fēng)暴襲擊了弗吉尼亞北部，大面積電力供應(yīng)中斷。而恰巧亞馬遜（微博）在這里安置了US-East-1數(shù)據(jù)中心，因為停電，整個數(shù)據(jù)中心癱瘓。

亞馬遜是業(yè)界領(lǐng)先的云服務(wù)提供商，其提供給網(wǎng)站以數(shù)據(jù)服務(wù)的云服務(wù)Amazon Web Services也因此一度中斷服務(wù)。之后連鎖反應(yīng)便產(chǎn)生，使用其服務(wù)的Instagram、Pinterest、Quora、Netflix等知名網(wǎng)站也停止了服務(wù)，進而影響到各自的生態(tài)系統(tǒng)。

為避免風(fēng)險，一些網(wǎng)絡(luò)公司選擇不把雞蛋放在一個籃子里，設(shè)置多個數(shù)據(jù)中心，或者在使用云服務(wù)時同時選擇多家供應(yīng)商，當(dāng)然，這也會增加成本。

據(jù)新浪微博技術(shù)總監(jiān)楊衛(wèi)華對《第一財經(jīng)周刊》介紹，是否能穩(wěn)定登錄，響應(yīng)的速度怎樣，都會對用戶的體驗造成直接影響。新浪微博采用了分布式的架構(gòu)，這意味著它沒有把所有的服務(wù)器都放在新浪所在的北京，而是在國內(nèi)多個主要城市都設(shè)置了數(shù)據(jù)中心，在突發(fā)事件發(fā)生后的流量處理和響應(yīng)速度等各方面來保證用戶體驗。

你在宕機時體驗到多少焦慮，穩(wěn)定對于互聯(lián)網(wǎng)公司就有多重要。

當(dāng)越來越多的人被接入同一個網(wǎng)絡(luò)─比如被稱為“世界的脈搏”的Twitter，數(shù)據(jù)中心癱瘓的風(fēng)險等級也相應(yīng)增加。這些數(shù)據(jù)就存儲在像加州薩克拉門托的大房子里，一旦宕機，空白也從這里開始。

服務(wù)器租用/服務(wù)器托管中國五強！虛擬主機域名注冊頂級提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]