要全天候運行，難免(mian)(mian)會出現這樣(yang)那樣(yang)的故(gu)(gu)障(zhang)(zhang)(zhang)(zhang)。出現故(gu)(gu)障(zhang)(zhang)(zhang)(zhang)后，如(ru)何(he)(he)迅速找(zhao)到(dao)故(gu)(gu)障(zhang)(zhang)(zhang)(zhang)原因并消除故(gu)(gu)障(zhang)(zhang)(zhang)(zhang)是一個數(shu)(shu)(shu)據(ju)(ju)中(zhong)(zhong)心(xin)(xin)(xin)(xin)運維效率的最(zui)直接體(ti)現。數(shu)(shu)(shu)據(ju)(ju)中(zhong)(zhong)心(xin)(xin)(xin)(xin)一旦發生故(gu)(gu)障(zhang)(zhang)(zhang)(zhang)，影響(xiang)了(le)數(shu)(shu)(shu)據(ju)(ju)業務(wu)，將給(gei)數(shu)(shu)(shu)據(ju)(ju)中(zhong)(zhong)心(xin)(xin)(xin)(xin)帶(dai)來(lai)巨大的經(jing)濟(ji)損(sun)失(shi)，有時(shi)甚至是毀滅性的打擊，所以數(shu)(shu)(shu)據(ju)(ju)中(zhong)(zhong)心(xin)(xin)(xin)(xin)都(dou)不(bu)希望出現任何(he)(he)的故(gu)(gu)障(zhang)(zhang)(zhang)(zhang)。當(dang)然，愿(yuan)望是美(mei)好的，現實是殘酷(ku)的，數(shu)(shu)(shu)據(ju)(ju)中(zhong)(zhong)心(xin)(xin)(xin)(xin)包含有太多(duo)的電子(zi)設(she)備(bei)和大量的軟件，雖然部(bu)署了(le)很(hen)多(duo)的備(bei)份(fen)技術(shu)和設(she)備(bei)，但依然很(hen)難做到(dao)永遠都(dou)不(bu)出故(gu)(gu)障(zhang)(zhang)(zhang)(zhang)。那么問題(ti)來(lai)了(le)，一旦數(shu)(shu)(shu)據(ju)(ju)中(zhong)(zhong)心(xin)(xin)(xin)(xin)出現了(le)故(gu)(gu)障(zhang)(zhang)(zhang)(zhang)，該如(ru)何(he)(he)高效處理？本文將針對如(ru)何(he)(he)處理數(shu)(shu)(shu)據(ju)(ju)中(zhong)(zhong)心(xin)(xin)(xin)(xin)故(gu)(gu)障(zhang)(zhang)(zhang)(zhang)列(lie)出八條 軍規 ，建議遇到(dao)數(shu)(shu)(shu)據(ju)(ju)中(zhong)(zhong)心(xin)(xin)(xin)(xin)故(gu)(gu)障(zhang)(zhang)(zhang)(zhang)時(shi)，能遵守這些 軍規 ，盡量減(jian)少故(gu)(gu)障(zhang)(zhang)(zhang)(zhang)給(gei)數(shu)(shu)(shu)據(ju)(ju)中(zhong)(zhong)心(xin)(xin)(xin)(xin)帶(dai)來(lai)的損(sun)失(shi)，同(tong)時(shi)避免(mian)(mian)相同(tong)的故(gu)(gu)障(zhang)(zhang)(zhang)(zhang)出現第二次。

第一條：摸清故障(zhang)現象(xiang)

數(shu)據(ju)中(zhong)心的(de)(de)故(gu)(gu)障(zhang)表(biao)現復雜多(duo)樣，先要(yao)弄清楚故(gu)(gu)障(zhang)現象(xiang)是什么(me)？一般數(shu)據(ju)中(zhong)心故(gu)(gu)障(zhang)都是先從(cong)應(ying)用層(ceng)面表(biao)現出來(lai)，如(ru)果從(cong)這(zhe)(zhe)些方(fang)(fang)面開始(shi)分析，很容易走錯方(fang)(fang)向(xiang)。比(bi)如(ru)：應(ying)用部(bu)分反饋(kui)訪問(wen)網頁慢、支(zhi)付系統(tong)完成不(bu)了支(zhi)付、游戲業(ye)務玩不(bu)了了等(deng)等(deng)，這(zhe)(zhe)些應(ying)用業(ye)務的(de)(de)故(gu)(gu)障(zhang)表(biao)現往往是片面的(de)(de)，不(bu)同(tong)技術水平(ping)的(de)(de)人和不(bu)同(tong)的(de)(de)業(ye)務部(bu)門(men)的(de)(de)人反饋(kui)的(de)(de)故(gu)(gu)障(zhang)現象(xiang)都有差(cha)別(bie)，很容易讓人不(bu)知(zhi)道該(gai)從(cong)何查起。這(zhe)(zhe)時要(yao)對反饋(kui)的(de)(de)故(gu)(gu)障(zhang)現象(xiang)進(jin)行收集(ji)和整(zheng)理(li)，找(zhao)出其中(zhong)的(de)(de)共(gong)性。所謂(wei)摸清故(gu)(gu)障(zhang)現象(xiang)，就是找(zhao)出此時數(shu)據(ju)中(zhong)心里統(tong)一的(de)(de)故(gu)(gu)障(zhang)現象(xiang)。

第二條(tiao)：測試(shi)并確認(ren)故障(zhang)范(fan)圍

根據故障(zhang)(zhang)現(xian)象，我們要查看這(zhe)(zhe)些(xie)故障(zhang)(zhang)是(shi)否來自(zi)于同一臺(tai)(tai)服(fu)務器、同一條鏈路或者是(shi)同一臺(tai)(tai)網絡設備(bei)等。所(suo)有的(de)應(ying)用(yong)業務都是(shi)在這(zhe)(zhe)些(xie)物(wu)理硬件設備(bei)上(shang)運行的(de)，其中(zhong)的(de)任何(he)一個環節的(de)設備(bei)出(chu)現(xian)故障(zhang)(zhang)，都會導(dao)致問題。此時(shi)，各種網絡探測(ce)診斷(duan)(duan)工(gong)具就派上(shang)用(yong)場(chang)了。通過使用(yong)PING、Tracert、鏡像、流量統(tong)計、抓包(bao)等一系列(lie)手段，確定故障(zhang)(zhang)位(wei)置。經(jing)過這(zhe)(zhe)樣一系列(lie)的(de)診斷(duan)(duan)，可(ke)以將故障(zhang)(zhang)范(fan)圍縮小到(dao)某一臺(tai)(tai)設備(bei)或只有數(shu)臺(tai)(tai)設備(bei)的(de)網絡區域。

第三條：嘗試定位

一(yi)個經(jing)(jing)驗豐(feng)富的(de)數據中心(xin)技術人(ren)(ren)員(yuan)(yuan)，往往可以根(gen)據故障表現迅速找到故障原(yuan)(yuan)因。這時(shi)，如果故障影響是(shi)可以容忍(ren)的(de)，在條件允許(xu)的(de)情況(kuang)下，可以嘗試定(ding)(ding)位問題，試圖找到觸發此(ci)(ci)次(ci)故障的(de)根(gen)本原(yuan)(yuan)因。此(ci)(ci)時(shi)技術人(ren)(ren)員(yuan)(yuan)一(yi)定(ding)(ding)要思路清晰，一(yi)步(bu)步(bu)來(lai)采集(ji)各種信(xin)息，深入分(fen)析(xi)(xi)。數據中心(xin)里有(you)太多的(de)設備，這些設備來(lai)自不同廠家，各自的(de)技術特點也不同，沒有(you)哪個數據中心(xin)技術人(ren)(ren)員(yuan)(yuan)能全部掌握，如果在短時(shi)間(jian)內無法定(ding)(ding)位問題，或者是(shi)分(fen)析(xi)(xi)來(lai)分(fen)析(xi)(xi)去已經(jing)(jing)沒有(you)任何思路，此(ci)(ci)時(shi)就(jiu)要放(fang)棄繼(ji)續定(ding)(ding)位。

第四條：收集故障時必要信息

一(yi)定(ding)要在故(gu)障(zhang)的(de)(de)時(shi)候(hou)收(shou)(shou)集(ji)一(yi)些(xie)設備的(de)(de)日志、診(zhen)斷、操作記錄(lu)、內部隱藏信(xin)(xin)息(xi)，很多信(xin)(xin)息(xi)是設備廠家要求在故(gu)障(zhang)時(shi)收(shou)(shou)集(ji)的(de)(de)，要按照(zhao)廠家的(de)(de)要求將信(xin)(xin)息(xi)收(shou)(shou)集(ji)完(wan)整，以便這些(xie)信(xin)(xin)息(xi)可(ke)以供設備廠家分析，日后(hou)找出故(gu)障(zhang)發生的(de)(de)原因(yin)。很多時(shi)候(hou)，數(shu)據中心的(de)(de)技(ji)術人(ren)員急于恢復業務，往往忽略(lve)收(shou)(shou)集(ji)這些(xie)信(xin)(xin)息(xi)，這將為日后(hou)定(ding)位問(wen)題(ti)造(zao)成了極大難度。

第五條：故障恢復

為了盡(jin)快消除故(gu)(gu)(gu)(gu)(gu)障(zhang)，需要對(dui)(dui)(dui)故(gu)(gu)(gu)(gu)(gu)障(zhang)進(jin)行恢復。此(ci)時不(bu)要上來(lai)就對(dui)(dui)(dui)疑(yi)似故(gu)(gu)(gu)(gu)(gu)障(zhang)的(de)(de)(de)(de)設(she)(she)(she)備直接重(zhong)(zhong)啟(qi)(qi)或者更(geng)換、下電(dian)，這樣極有可能(neng)會造成更(geng)為嚴(yan)重(zhong)(zhong)的(de)(de)(de)(de)故(gu)(gu)(gu)(gu)(gu)障(zhang)。本來(lai)原(yuan)(yuan)來(lai)的(de)(de)(de)(de)故(gu)(gu)(gu)(gu)(gu)障(zhang)可能(neng)只是(shi)(shi)偶爾有訪問出錯，有丟(diu)包，經(jing)過設(she)(she)(she)備重(zhong)(zhong)啟(qi)(qi)就可能(neng)造成整網(wang)的(de)(de)(de)(de)業務(wu)(wu)中斷。故(gu)(gu)(gu)(gu)(gu)障(zhang)恢復的(de)(de)(de)(de)操作應該(gai)從輕到(dao)重(zhong)(zhong)，逐(zhu)步來(lai)嘗(chang)試執行。比如路由(you)(you)異常，可以先對(dui)(dui)(dui)特定(ding)路由(you)(you)進(jin)行刪除重(zhong)(zhong)建，不(bu)行的(de)(de)(de)(de)話(hua)，再(zai)對(dui)(dui)(dui)某一(yi)個鄰居進(jin)行復位重(zhong)(zhong)建，還不(bu)行的(de)(de)(de)(de)話(hua)再(zai)對(dui)(dui)(dui)整個路由(you)(you)協(xie)議(yi)進(jin)行重(zhong)(zhong)建，這樣一(yi)來(lai)最嚴(yan)重(zhong)(zhong)也是(shi)(shi)影響這一(yi)類路由(you)(you)協(xie)議(yi)的(de)(de)(de)(de)轉(zhuan)發，對(dui)(dui)(dui)其(qi)它業務(wu)(wu)并沒有影響。還是(shi)(shi)不(bu)行再(zai)考慮重(zhong)(zhong)啟(qi)(qi)框式設(she)(she)(she)備的(de)(de)(de)(de)板卡(ka)，再(zai)不(bu)行再(zai)考慮重(zhong)(zhong)啟(qi)(qi)整機設(she)(she)(she)備，此(ci)時也盡(jin)量不(bu)要斷電(dian)重(zhong)(zhong)啟(qi)(qi)，很多(duo)設(she)(she)(she)備只要不(bu)是(shi)(shi)斷電(dian)重(zhong)(zhong)啟(qi)(qi)還是(shi)(shi)會留下一(yi)些有意義的(de)(de)(de)(de)歷(li)史(shi)記錄(lu)信息。如果數據中心的(de)(de)(de)(de)各個故(gu)(gu)(gu)(gu)(gu)障(zhang)環節(jie)都(dou)是(shi)(shi)備份系統(tong)，可以暫時將業務(wu)(wu)遷移到(dao)備份系統(tong)上來(lai)，故(gu)(gu)(gu)(gu)(gu)障(zhang)的(de)(de)(de)(de)主(zhu)用系統(tong)繼續保留，供技(ji)術人員繼續排查故(gu)(gu)(gu)(gu)(gu)障(zhang)，直到(dao)找(zhao)到(dao)故(gu)(gu)(gu)(gu)(gu)障(zhang)原(yuan)(yuan)因，徹底消除后，再(zai)將業務(wu)(wu)切換回來(lai)。

第六條：再次驗(yan)證業務的正確性

故障(zhang)恢(hui)(hui)復后(hou)，要再次對數(shu)據中心承載的(de)業務(wu)進行各種測試，看是否所有的(de)業務(wu)都恢(hui)(hui)復正常，同(tong)時與(yu)各個(ge)業務(wu)部門人員交流，確(que)認(ren)業務(wu)的(de)正確(que)性。當得到準確(que)反饋，所有業務(wu)都恢(hui)(hui)復正常后(hou)，再停(ting)止業務(wu)驗證(zheng)。

第七條：長時間觀察

數(shu)據中(zhong)心故(gu)障(zhang)(zhang)有(you)時會容易反復，尤其是在沒有(you)找到故(gu)障(zhang)(zhang)原因的情況(kuang)下，所有(you)的故(gu)障(zhang)(zhang)恢復手段(duan)都可(ke)(ke)能(neng)不(bu)是很(hen)有(you)效的，很(hen)可(ke)(ke)能(neng)會再次出現故(gu)障(zhang)(zhang)。這時要密切關注數(shu)據中(zhong)心業(ye)務(wu)運行情況(kuang)，一(yi)旦發(fa)現異(yi)常，及時處(chu)理。

第八條：分析(xi)故障原因，總(zong)結經驗教訓

故障發(fa)生后，在還(huan)未明確故障原(yuan)因的(de)(de)情況下，及時將收集(ji)的(de)(de)信(xin)息發(fa)給設備廠(chang)商，協同分(fen)析(xi)，在事(shi)后故障分(fen)析(xi)上(shang)要投(tou)入大量的(de)(de)人力、物(wu)力，直到(dao)找到(dao)故障原(yuan)因。如(ru)果無法找到(dao)故障原(yuan)因，對于數據中心(xin)是最可怕的(de)(de)事(shi)情，很可能(neng)會(hui)再(zai)次發(fa)生，造(zao)成二次的(de)(de)損失，所(suo)以要在故障分(fen)析(xi)上(shang)多投(tou)入，直到(dao)找到(dao)故障原(yuan)因。找到(dao)故障原(yuan)因后，要對產生這次故障的(de)(de)原(yuan)因進行深入分(fen)析(xi)，結合目前數據中心(xin)的(de)(de)運行狀(zhuang)況，看是否有改(gai)進的(de)(de)空間，及時總結故障處(chu)理過程(cheng)中不足的(de)(de)地方，對薄弱環節進行加強，避免同樣的(de)(de)故障再(zai)次發(fa)生。

處理數據中(zhong)(zhong)心故障要嚴(yan)格依照這八(ba)條 軍規 ，只有(you)這樣才(cai)能(neng)在遇到故障時，處理起來有(you)章法、高(gao)效(xiao)率，并能(neng)夠(gou)在處理故障的過(guo)程中(zhong)(zhong)積累實(shi)踐經驗，不斷提(ti)升數據中(zhong)(zhong)心的運維水平。

文章編輯：CobiNet(寧波)，本公司專注于電(dian)訊(xun)配件(jian),銅(tong)纜(lan)綜合(he)布線(xian)系列領域產(chan)品(pin)研發生(sheng)產(chan)超五(wu)類，六類,七類屏蔽網(wang)線(xian)/屏蔽模(mo)塊及相關模(mo)塊配件(jian),歡(huan)迎來(lai)電(dian)咨詢0574 88168918,網(wang)址aliance.cn

我們是萬兆屏蔽模塊，10G屏蔽模塊，屏蔽線生產廠家。