電話：+86 574 88168918 郵箱：sales@aliance.cn
電話：+86 574 88168918 郵箱：sales@aliance.cn
由中國信息通信研究院主辦、中國通信標準化協會支持的"OSCAR開源產業大會"在國家(jia)會議中心舉行。
銀(yin)行(xing)業云計算發展論壇(tan)作為大(da)會(hui)分(fen)論壇(tan)之(zhi)一，于22日下午召開。
李曉楓：下面(mian)請民(min)生銀行的技術專家何(he)佳(jia)佳(jia)給大家分享民(min)生銀行基于(yu)開(kai)(kai)源(yuan)的運(yun)維(wei)實踐。開(kai)(kai)源(yuan)體系坑多，所以才(cai)把運(yun)維(wei)和開(kai)(kai)發理念合在一起，出了新(xin)詞。既然你要用開(kai)(kai)源(yuan)建私(si)有云，繞不過開(kai)(kai)源(yuan)，我(wo)們聽民(min)生銀行怎么介紹，請。
民生銀行技術專家何佳(jia)佳(jia)帶(dai)來的精彩演講題為《民生銀行基于開源的運維實踐》。
以下為演講實錄:
何佳佳：各(ge)位領(ling)(ling)導(dao)、專家(jia)(jia)，大家(jia)(jia)好，我的(de)分享(xiang)主題是民(min)生銀行基于開(kai)源(yuan)的(de)運維實踐，其實前面幾位領(ling)(ling)導(dao)和專家(jia)(jia)都已經(jing)在(zai)云計(ji)算(suan)，包(bao)括(kuo)(kuo)開(kai)源(yuan)方(fang)(fang)面的(de)發展(zhan)做了一些指引方(fang)(fang)面的(de)描(miao)述，包(bao)括(kuo)(kuo)藍圖方(fang)(fang)面的(de)介紹(shao)。我更多會從底(di)層運維支撐(cheng)角度來看，怎么去做云計(ji)算(suan)，包(bao)括(kuo)(kuo)開(kai)源(yuan)的(de)支撐(cheng)。
我是(shi)03年參加工(gong)作(zuo)，基本上到現在(zai)剛好分(fen)上下(xia)半場。上半場在(zai)傳統制(zhi)造業，做過幾(ji)乎絕大部分(fen)IT各(ge)方(fang)面的工(gong)作(zuo)，所以IT各(ge)個領域(yu)基本都有一定了解。下(xia)半場加入民生銀(yin)行，基本上做核心(xin)系(xi)統運(yun)維(wei)(wei)，包(bao)括(kuo)關鍵組(zu)件的運(yun)維(wei)(wei)。這兩年更多(duo)把精力偏向(xiang)工(gong)具(ju)平臺(tai)建(jian)設，包(bao)括(kuo)ITIL流(liu)程，DevOps平臺(tai)建(jian)設，現在(zai)民生銀(yin)行在(zai)做實踐落(luo)地。
民(min)生銀行是比(bi)較特殊的(de)(de)(de)銀行，它是第一家民(min)營性質(zhi)全國性股份(fen)制(zhi)銀行，它發(fa)(fa)展(zhan)非常快，21年(nian)(nian)的(de)(de)(de)歷程從最開(kai)(kai)始資(zi)本(ben)金(jin)10幾(ji)(ji)億，到現在(zai)3700億的(de)(de)(de)發(fa)(fa)展(zhan)速度。它有(you)(you)一個(ge)特點，業(ye)務(wu)與需求(qiu)追求(qiu)短(duan)平快，要效果，以結果為導向。所(suo)(suo)以，在(zai)這(zhe)種情(qing)況下，我(wo)們會面臨哪些挑戰呢？剛(gang)才(cai)提到業(ye)務(wu)的(de)(de)(de)高速發(fa)(fa)展(zhan)情(qing)況，有(you)(you)自己的(de)(de)(de)業(ye)務(wu)特色，包括它的(de)(de)(de)靈活性、多樣性。再(zai)加上最近幾(ji)(ji)年(nian)(nian)互聯網金(jin)融模式，對我(wo)行的(de)(de)(de)沖擊(ji)比(bi)較大(da)，不過(guo)民(min)生這(zhe)方面應對也很及時(shi)(shi)。比(bi)如(ru)(ru)(ru)在(zai)余額寶(bao)出(chu)來之后很快對標出(chu)來如(ru)(ru)(ru)意(yi)寶(bao)。在(zai)這(zhe)種業(ye)務(wu)發(fa)(fa)展(zhan)情(qing)況下，從業(ye)務(wu)架構(gou)來講調整(zheng)速度非常快，從而(er)帶動底層應用架構(gou)，甚至技術(shu)架構(gou)不停的(de)(de)(de)轉變和演進。同時(shi)(shi)對技術(shu)迭(die)代要求(qiu)非常高。從以前單一的(de)(de)(de)開(kai)(kai)發(fa)(fa)運行框(kuang)(kuang)架到現在(zai)多樣化的(de)(de)(de)框(kuang)(kuang)架，各(ge)類新(xin)技術(shu)層出(chu)不窮，比(bi)如(ru)(ru)(ru)、人工智能，機器學習(xi)等(deng)等(deng)。當(dang)然，比(bi)較重要的(de)(de)(de)是從封閉商業(ye)軟件模式到基于開(kai)(kai)源模式的(de)(de)(de)轉變。有(you)(you)一個(ge)數字可以證明(ming)這(zhe)些變化量(liang)，我(wo)們2017年(nian)(nian)全年(nian)(nian)所(suo)(suo)有(you)(you)應用變更超過(guo)1萬次，而(er)且還在(zai)遞增。
從信息科(ke)技(ji)角(jiao)度(du)來(lai)看(kan)，2000年左右(you)我們主(zhu)要是單體應用(yong)架(jia)構(gou)。2012年到2013年之間，隨著(zhu) 新(xin)(xin)(xin) 核心項(xiang)目上線(xian)，改造為了SOA架(jia)構(gou)，可以從架(jia)構(gou)圖看(kan)到邏輯(ji)和應用(yong)架(jia)構(gou)的(de)(de)(de)(de)(de)復雜性(xing)。這兩年有(you)(you)更大(da)的(de)(de)(de)(de)(de)跨度(du)，分布式(shi)(shi)(shi)和微服務(wu)(wu)化(hua)的(de)(de)(de)(de)(de)改造，和新(xin)(xin)(xin)技(ji)術(shu)新(xin)(xin)(xin)架(jia)構(gou)的(de)(de)(de)(de)(de)高速演進，同時(shi)(shi)通過(guo)(guo)剛才提到的(de)(de)(de)(de)(de)那(nei)些(xie)新(xin)(xin)(xin)技(ji)術(shu)會去引(yin)領業務(wu)(wu)，包括(kuo)應用(yong)這塊的(de)(de)(de)(de)(de)技(ji)術(shu)革新(xin)(xin)(xin)，包括(kuo)的(de)(de)(de)(de)(de)業務(wu)(wu)革新(xin)(xin)(xin)。比如(ru)，2015年開始我們有(you)(you)一個和發改委(wei)合作的(de)(de)(de)(de)(de)金融云(yun)科(ke)研項(xiang)目，經過(guo)(guo)2年的(de)(de)(de)(de)(de)研究積累，我們設(she)計(ji)實施(shi)了分布式(shi)(shi)(shi)和微服務(wu)(wu)架(jia)構(gou)方案，上線(xian)了分布式(shi)(shi)(shi)的(de)(de)(de)(de)(de)核心系統。該系統主(zhu)要采用(yong)分布式(shi)(shi)(shi)架(jia)構(gou)，也就是我們當(dang)時(shi)(shi)做的(de)(de)(de)(de)(de)金融云(yun)科(ke)研項(xiang)目的(de)(de)(de)(de)(de)落地化(hua)。另外，新(xin)(xin)(xin)零售(shou)信貸體系，利用(yong)新(xin)(xin)(xin)興的(de)(de)(de)(de)(de)大(da)數據智能(neng)分析等(deng)技(ji)術(shu)，實現了決(jue)策引(yin)擎，反欺詐(zha)，貸后監測等(deng)功能(neng)，給業務(wu)(wu)帶(dai)來(lai)很大(da)的(de)(de)(de)(de)(de)業務(wu)(wu)革新(xin)(xin)(xin)，諸如(ru)此類(lei)的(de)(de)(de)(de)(de)創新(xin)(xin)(xin)還(huan)有(you)(you)很多。
當然，這(zhe)也給我們(men)(men)的(de)運(yun)維(wei)帶來了一些(xie)難(nan)題。從應用架(jia)構(gou)演進到技術迭代，速度是越(yue)來越(yue)快的(de)，而我們(men)(men)曾經的(de)運(yun)維(wei)支撐(cheng)能力(li)發展相(xiang)對會比較緩(huan)慢。這(zhe)其中存在兩大難(nan)題，一個是傳統的(de)運(yun)維(wei)模式，難(nan)以適(shi)應支持高速變化的(de)應用與技術，導致運(yun)維(wei)不(bu)停的(de)被動響應需求。另外一個是封閉的(de)商業軟件(jian)工具依賴，需求受限，轉(zhuan)型緩(huan)慢不(bu)靈(ling)活，變相(xiang)增加了運(yun)維(wei)的(de)被動性，支撐(cheng)能力(li)因(yin)而發展緩(huan)慢。針對這(zhe)些(xie)問題，我們(men)(men)也在思(si)考如(ru)何(he)破局(ju)。
首先(xian)，我們(men)把(ba)視(shi)角轉向運(yun)維(wei)(wei)(wei)模式。我們(men)最早的(de)(de)(de)(de)(de)是(shi)傳統(tong)的(de)(de)(de)(de)(de)組織架(jia)構(gou)(gou)(gou)，會(hui)建(jian)(jian)立(li)很多個專業領域的(de)(de)(de)(de)(de)中(zhong)心(xin)，實現中(zhong)心(xin)化(hua)(hua)(hua)管(guan)理。崗位會(hui)有(you)明確職責(ze)，崗位之間(jian)有(you)一(yi)定(ding)的(de)(de)(de)(de)(de)隔離性。工(gong)具(ju)層(ceng)面(mian)(mian)(mian)，包括流(liu)(liu)(liu)程(cheng)(cheng)(cheng)層(ceng)面(mian)(mian)(mian)，會(hui)和應(ying)用(yong)運(yun)維(wei)(wei)(wei)層(ceng)面(mian)(mian)(mian)有(you)比較清晰的(de)(de)(de)(de)(de)定(ding)義。這(zhe)(zhe)種(zhong)(zhong)機(ji)制，是(shi)當時(shi)的(de)(de)(de)(de)(de)一(yi)種(zhong)(zhong)比較理想的(de)(de)(de)(de)(de)情況(kuang)，但不一(yi)定(ding)適合不斷變化(hua)(hua)(hua)的(de)(de)(de)(de)(de)環境。那(nei)怎么(me)(me)去(qu)改變它呢？我們(men)考慮組織機(ji)構(gou)(gou)(gou)的(de)(de)(de)(de)(de) 云 化(hua)(hua)(hua)。主要從(cong)三個方面(mian)(mian)(mian)解決(jue)，首先(xian)是(shi)虛擬(ni)化(hua)(hua)(hua)，我們(men)從(cong)最痛點的(de)(de)(de)(de)(de)應(ying)用(yong)運(yun)維(wei)(wei)(wei)入手，建(jian)(jian)立(li)虛擬(ni)的(de)(de)(de)(de)(de)運(yun)維(wei)(wei)(wei)小(xiao)(xiao)組，把(ba)崗位做業務相(xiang)關(guan)性聚(ju)合分組，化(hua)(hua)(hua)整(zheng)為零，通過虛擬(ni)小(xiao)(xiao)團隊(dui)提高靈(ling)活性，同時(shi)鼓勵跨(kua)組跨(kua)中(zhong)心(xin)的(de)(de)(de)(de)(de)輪崗。在(zai)此(ci)基礎(chu)上，建(jian)(jian)立(li)了兩個跨(kua)中(zhong)心(xin)的(de)(de)(de)(de)(de)虛擬(ni)組，一(yi)個是(shi)流(liu)(liu)(liu)程(cheng)(cheng)(cheng)小(xiao)(xiao)組，一(yi)個是(shi)工(gong)具(ju)與(yu)平(ping)臺(tai)(tai)小(xiao)(xiao)組。流(liu)(liu)(liu)程(cheng)(cheng)(cheng)組會(hui)跨(kua)中(zhong)心(xin)設立(li)流(liu)(liu)(liu)程(cheng)(cheng)(cheng)負責(ze)人(ren)，整(zheng)體(ti)(ti)設計把(ba)控各種(zhong)(zhong)IT流(liu)(liu)(liu)程(cheng)(cheng)(cheng)，包括問題、事件、變更等。工(gong)具(ju)與(yu)平(ping)臺(tai)(tai)小(xiao)(xiao)組也是(shi)多中(zhong)心(xin)協(xie)同，會(hui)從(cong)實際(ji)應(ying)用(yong)場景(jing)出發，全局考慮怎么(me)(me)構(gou)(gou)(gou)建(jian)(jian)我們(men)的(de)(de)(de)(de)(de)工(gong)具(ju)和平(ping)臺(tai)(tai)。在(zai)這(zhe)(zhe)種(zhong)(zhong)虛擬(ni)化(hua)(hua)(hua)劃(hua)分的(de)(de)(de)(de)(de)基礎(chu)上，從(cong)而做到整(zheng)體(ti)(ti)扁平(ping)化(hua)(hua)(hua)管(guan)理，統(tong)一(yi)資源調配，統(tong)一(yi)工(gong)作流(liu)(liu)(liu)程(cheng)(cheng)(cheng)，實現更有(you)效地(di)協(xie)同合作能(neng)力，實現全局信(xin)息共享，應(ying)用(yong)場景(jing)與(yu)工(gong)具(ju)、流(liu)(liu)(liu)程(cheng)(cheng)(cheng)的(de)(de)(de)(de)(de)深入融合設計。
工具和(he)平(ping)(ping)臺(tai)(tai)(tai)層(ceng)面(mian)(mian)(mian)，我們(men)參考AIOps的(de)(de)(de)(de)理(li)念(nian)和(he)漠(mo)視(shi)，轉(zhuan)化(hua)設(she)計(ji)了(le)一(yi)套自己的(de)(de)(de)(de)運維發(fa)展藍(lan)圖。核心(xin)基礎能力層(ceng)面(mian)(mian)(mian)是我們(men)的(de)(de)(de)(de)基礎，主要由(you)系(xi)統(tong)管(guan)理(li)中(zhong)心(xin)這(zhe)邊專門的(de)(de)(de)(de)大(da)(da)數(shu)據(ju)平(ping)(ping)臺(tai)(tai)(tai)團隊獨立設(she)計(ji)，實現了(le)基于(yu)開(kai)(kai)(kai)源(yuan)(yuan)的(de)(de)(de)(de)大(da)(da)數(shu)據(ju)基礎架構。另(ling)外(wai)，這(zhe)個(ge)團隊基于(yu)開(kai)(kai)(kai)源(yuan)(yuan)實施了(le)日(ri)志技術(shu)平(ping)(ping)臺(tai)(tai)(tai)。中(zhong)間邏輯平(ping)(ping)臺(tai)(tai)(tai)層(ceng)包含三(san)個(ge)方面(mian)(mian)(mian)。一(yi)個(ge)是監控(kong)，主要基于(yu)開(kai)(kai)(kai)源(yuan)(yuan)Zabbix搭建監控(kong)體(ti)系(xi)；自動化(hua)與(yu)DevOps部分(fen)，以前更(geng)多是使用商業軟件(jian)，逐步以開(kai)(kai)(kai)源(yuan)(yuan)的(de)(de)(de)(de)Ansible，Jenkins等軟件(jian)為后臺(tai)(tai)(tai)，做上層(ceng)的(de)(de)(de)(de)封裝(zhuang)和(he)整(zheng)合(he)。兩者通過IT服務管(guan)理(li)進行交互與(yu)流轉(zhuan)。最外(wai)層(ceng)是應用場景層(ceng)面(mian)(mian)(mian)，會從應用運維角度看具體(ti)的(de)(de)(de)(de)痛點或需求，面(mian)(mian)(mian)向消費場景來(lai)驅動設(she)計(ji)。我們(men)在(zai)開(kai)(kai)(kai)源(yuan)(yuan)方面(mian)(mian)(mian)還是比(bi)較積極的(de)(de)(de)(de)，發(fa)展較快的(de)(de)(de)(de)。比(bi)如大(da)(da)數(shu)據(ju)平(ping)(ping)臺(tai)(tai)(tai)團隊現在(zai)不光是在(zai)用開(kai)(kai)(kai)源(yuan)(yuan)，而且(qie)開(kai)(kai)(kai)始貢獻社區。慢慢的(de)(de)(de)(de)我們(men)就會從購買(mai)使用封閉的(de)(de)(de)(de)商業軟件(jian)轉(zhuan)向商業軟件(jian)與(yu)開(kai)(kai)(kai)源(yuan)(yuan)的(de)(de)(de)(de)融合(he)發(fa)展。下邊簡單給大(da)(da)家(jia)介紹這(zhe)幾個(ge)層(ceng)次的(de)(de)(de)(de)情況(kuang)。
核心基(ji)礎(chu)能(neng)力主要是(shi)指(zhi)大數(shu)(shu)據基(ji)礎(chu)架構，設計(ji)實(shi)現了(le)三(san)大集群，分計(ji)算(suan)集群、非(fei)計(ji)算(suan)集群和(he)實(shi)時計(ji)算(suan)集群，三(san)個(ge)平臺(tai)(tai)各司(si)其(qi)職，分別服務于(yu)批量(liang)數(shu)(shu)據任務、聯機(ji)查(cha)詢以及實(shi)時消息(xi)和(he)流處理(li)。這(zhe)么(me)多資(zi)源怎么(me)管(guan)(guan)控是(shi)一個(ge)很大的(de)問題，大數(shu)(shu)據管(guan)(guan)控平臺(tai)(tai)是(shi)我們(men)團隊專門自主研發的(de)，用于(yu)支(zhi)撐(cheng)大數(shu)(shu)據基(ji)礎(chu)架構運行(xing)。平臺(tai)(tai)層面(mian)實(shi)現界面(mian)邏輯和(he)執行(xing)層Ansible的(de)封裝。支(zhi)持(chi)項目(mu)管(guan)(guan)理(li)、功能(neng)管(guan)(guan)理(li)，同時還有(you)批量(liang)作業發起，資(zi)源池使用監控跟蹤等功能(neng)。日(ri)(ri)志(zhi)技術平臺(tai)(tai)，主要是(shi)基(ji)于(yu)ELK技術棧構建，我們(men)建立了(le)全行(xing)的(de)整體日(ri)(ri)志(zhi)視圖，總行(xing)和(he)分行(xing)的(de)分層體系結構，通過平臺(tai)(tai)統一管(guan)(guan)理(li)所有(you)的(de)日(ri)(ri)志(zhi)。包括(kuo)日(ri)(ri)志(zhi)收集、傳輸、存儲、分析、可視化，都在這(zhe)個(ge)大平臺(tai)(tai)里(li)面(mian)完(wan)成(cheng)。
監(jian)控(kong)方面，主要是(shi)在zabbix之上做二(er)(er)次開發和(he)封裝，一(yi)個是(shi)建立新的(de)監(jian)控(kong)體系，二(er)(er)是(shi)和(he)老(lao)的(de)監(jian)控(kong)平臺(tai)的(de)集成融合(he)。通過(guo)大數據平臺(tai)做分析(xi)，以(yi)及后(hou)處理(li)響應(ying)動作。另外(wai)，我們(men)近期在實(shi)施(shi)容(rong)器(qi)云，容(rong)器(qi)方面的(de)監(jian)控(kong)重要的(de)工(gong)作，我們(men)也是(shi)通過(guo)基于Zabbix的(de)新監(jian)控(kong)體系來實(shi)現對容(rong)器(qi)的(de)支持。
接下來是(shi)重點的應(ying)用(yong)場景(jing)(jing)層。應(ying)用(yong)場景(jing)(jing)我們更多(duo)是(shi)從應(ying)用(yong)運(yun)(yun)維(wei)角度出發(fa)(fa)進行(xing)設(she)計實(shi)(shi)現。給大家介紹(shao)幾個(ge)場景(jing)(jing)，第(di)一個(ge)場景(jing)(jing)， onplat全景(jing)(jing)運(yun)(yun)維(wei)平臺，實(shi)(shi)現實(shi)(shi)時(shi)(shi)(shi)業務(wu)數據分析(xi)和可(ke)視化(hua)。主要功能包(bao)括業務(wu)數據可(ke)視化(hua)，實(shi)(shi)時(shi)(shi)(shi)分析(xi)，根本原因(yin)分析(xi)與問題(ti)診斷，主動感知(zhi)系(xi)統交易質量，包(bao)括異(yi)動、風險，及時(shi)(shi)(shi)反饋。這(zhe)個(ge)項目在去年獲(huo)了兩個(ge)獎(jiang)(jiang)，一個(ge)是(shi)金融電子化(hua)頒發(fa)(fa)的運(yun)(yun)維(wei)創新貢獻(xian)獎(jiang)(jiang)，一個(ge)是(shi)行(xing)內科技(ji)創新二等獎(jiang)(jiang)。這(zhe)個(ge)圖比(bi)較直觀，當前銀行(xing)的架(jia)構變得越(yue)來越(yue)復雜，比(bi)如(ru)SOA，分布式、微服務(wu)化(hua)面(mian)臨同樣的問題(ti)。舉一個(ge)例(li)子，3秒鐘(zhong)的交易，要穿過很多(duo)城(cheng)市機房、系(xi)統，包(bao)括服務(wu)器(qi)，怎(zen)么(me)定位，怎(zen)么(me)找問題(ti)原因(yin)，其實(shi)(shi)是(shi)一個(ge)特別難的話(hua)題(ti)。
下邊這幅圖(tu)是以前(qian)的(de)(de)一(yi)個真實的(de)(de)案例，一(yi)個比較(jiao)局部(bu)的(de)(de)交易緩慢問題引發的(de)(de)一(yi)次特別費力的(de)(de)診斷(duan)過程，這里不再詳細描述，主要是兩大難(nan)題亟待解決。一(yi)個是全局優化沒有特別直觀(guan)的(de)(de)告訴我們到(dao)底哪個點出了異常，二是局部(bu)問題掩蓋在全局得海量交易里面，難(nan)于定(ding)位(wei)。
基于這(zhe)些痛點(dian)，我們(men)開始(shi)著手發起這(zhe)個(ge)項目。主要(yao)的(de)(de)(de)設計思路(lu)是(shi)在應(ying)用服(fu)務運行過程(cheng)中，旁路(lu)無(wu)感(gan)知(zhi)(zhi)的(de)(de)(de)自(zi)動(dong)(dong)完成(cheng)信息(xi)收(shou)集(ji)和(he)各項檢查，通過API提(ti)供給上層(ceng)做(zuo)(zuo)實時(shi)展示(shi)，多(duo)維度(du)分(fen)(fen)析(xi)(xi)，甚至通過動(dong)(dong)態規則引擎、機器學習的(de)(de)(de)參(can)與(yu)，再反饋到上層(ceng)做(zuo)(zuo)問題(ti)根本原因分(fen)(fen)析(xi)(xi)和(he)整體運行情況匯(hui)聚(ju)實時(shi)展示(shi)。下邊(bian)這(zhe)幅圖(tu)(tu)是(shi)當前的(de)(de)(de)實現，一個(ge)是(shi)非常簡單的(de)(de)(de)主頁入口，能輸入很多(duo)要(yao)素，比如返回碼、IP系(xi)(xi)統(tong)簡稱、流水號、服(fu)務名、日期、系(xi)(xi)統(tong)A到系(xi)(xi)統(tong)B的(de)(de)(de)訪(fang)問關系(xi)(xi)等，后臺(tai)自(zi)動(dong)(dong)區分(fen)(fen)進入不同的(de)(de)(de)分(fen)(fen)析(xi)(xi)視圖(tu)(tu)。另外(wai)也可以直(zhi)接訪(fang)問系(xi)(xi)統(tong)全局運行視圖(tu)(tu)，實時(shi)地匯(hui)聚(ju)展示(shi)了系(xi)(xi)統(tong)健(jian)康情況和(he)每個(ge)系(xi)(xi)統(tong)之(zhi)間鏈路(lu)的(de)(de)(de)情況。如果下層(ceng)某(mou)個(ge)指標(biao)出(chu)現異(yi)動(dong)(dong)，會(hui)在上層(ceng)快速(su)響應(ying)出(chu)來，比如做(zuo)(zuo)紅色高亮(liang)顯示(shi)，能夠很快知(zhi)(zhi)道出(chu)了問題(ti)以及問題(ti)所在。視圖(tu)(tu)支持點(dian)擊下鉆到應(ying)用或鏈路(lu)視圖(tu)(tu)。我們(men)設立了三個(ge)指標(biao)集(ji)，交易量、性能和(he)異(yi)常，圍繞(rao)這(zhe)三個(ge)指標(biao)集(ji)進行多(duo)維度(du)分(fen)(fen)析(xi)(xi)。
應用視(shi)圖，用于展(zhan)(zhan)示應用和(he)交(jiao)(jiao)易鏈路的情(qing)(qing)況，同(tong)(tong)樣圍繞(rao)著剛(gang)才提到的三個指標集進(jin)行(xing)分(fen)析(xi)(xi)。通過動(dong)態規(gui)則(ze)引擎以及機器學習，進(jin)行(xing)分(fen)析(xi)(xi)和(he)判(pan)斷(duan)，識別異常(chang)(chang)變(bian)動(dong)和(he)趨勢(shi)。例如左下(xia)角的服務(wu)調用分(fen)析(xi)(xi)，通過規(gui)則(ze)判(pan)斷(duan)，展(zhan)(zhan)示當前交(jiao)(jiao)易情(qing)(qing)況和(he)歷史同(tong)(tong)期正常(chang)(chang)情(qing)(qing)況，進(jin)行(xing)比對展(zhan)(zhan)示。另(ling)外還(huan)有交(jiao)(jiao)易尖峰分(fen)析(xi)(xi)，我(wo)們可以在界面上(shang)快速(su)拖拉拽，快速(su)識別異常(chang)(chang)點(dian)和(he)問(wen)題原因。
下邊的(de)功能場景是(shi)單(dan)筆(bi)交易鏈路分析。這(zhe)(zhe)部分功能對于運(yun)維來講(jiang)非常有用(yong)，比如(ru)圖(tu)上這(zhe)(zhe)一筆(bi)端到端的(de)交易調(diao)用(yong)，途(tu)經十(shi)幾個(ge)(ge)系統、服務，通過這(zhe)(zhe)個(ge)(ge)功能可(ke)以直觀的(de)看到具體(ti)慢(man)在哪個(ge)(ge)原(yuan)子服務，到底(di)哪個(ge)(ge)環節出了異(yi)常。
這個(ge)平(ping)臺(tai)(tai)(tai)整個(ge)框(kuang)架比(bi)較簡單，數(shu)據分析(xi)邏輯是基于大數(shu)據平(ping)臺(tai)(tai)(tai)來實(shi)現的(de)，使用了Kafka，Spark Streaming，ES，Redis等等組件。流程可視化層(ceng)，利用民生自有的(de)開放框(kuang)架形成平(ping)臺(tai)(tai)(tai)，上層(ceng)使用開源的(de)UI組件，嵌入(ru)自然語言(yan)處理。
第二個應用(yong)(yong)場景是我們的(de)(de)(de)自主創新項目實(shi)時指(zhi)標(biao)駕(jia)駛艙，用(yong)(yong)于(yu)展(zhan)示商業銀(yin)行(xing)(xing)的(de)(de)(de)基本經營指(zhi)標(biao)，包括資(zi)產、負債等等的(de)(de)(de)實(shi)時情(qing)況。民生銀(yin)行(xing)(xing)過去只能做到(dao)(dao)T+1日報表查看(kan)前一天(tian)的(de)(de)(de)數據(ju)(ju)，通過這套(tao)新的(de)(de)(de)框架，現在(zai)(zai)可以秒級近實(shi)時地(di)看(kan)到(dao)(dao)當(dang)前指(zhi)標(biao)，包括存(cun)款(kuan)、貸款(kuan)等各項指(zhi)標(biao)。現在(zai)(zai)我們的(de)(de)(de)行(xing)(xing)領(ling)導每(mei)天(tian)都要多次查看(kan)這個功(gong)能。這個功(gong)能可以在(zai)(zai)手機(ji)上方便的(de)(de)(de)查看(kan)實(shi)時情(qing)況，實(shi)現下鉆分析(xi)到(dao)(dao)多個維度(du)，比如按機(ji)構統(tong)計。另外實(shi)現快速(su)識別大額異動的(de)(de)(de)交易。邏輯(ji)角度(du)不再詳細描述(shu)，主要包括三層(ceng)，數據(ju)(ju)接入層(ceng)，數據(ju)(ju)計算(suan)層(ceng)，接口服務層(ceng)，最終提供到(dao)(dao)手機(ji)上進行(xing)(xing)展(zhan)示。
第(di)三個場景是(shi)針(zhen)對更多的(de)分(fen)(fen)布(bu)(bu)式(shi)系統上線，提供(gong)關鍵的(de)分(fen)(fen)布(bu)(bu)式(shi)交易追蹤功(gong)能(neng)。分(fen)(fen)布(bu)(bu)式(shi)架構內部的(de)調用(yong)復雜，難于故障(zhang)排查。我們通過(guo)分(fen)(fen)布(bu)(bu)式(shi)的(de)服務框架，逐筆按照規范(fan)定(ding)義記錄(lu)調用(yong)信(xin)息，通過(guo)ES進行持久化存(cun)儲(chu)，集成開源Zipkin進行分(fen)(fen)布(bu)(bu)式(shi)追蹤展示，這樣(yang)分(fen)(fen)布(bu)(bu)式(shi)系統的(de)問題定(ding)位會很(hen)便捷(jie)。這個功(gong)能(neng)已經與之(zhi)前的(de)Onplat項目打通，實現外部調用(yong)與內部調用(yong)的(de)聯動整(zheng)合。
第四個是應(ying)用(yong)系統一(yi)眼清平臺，實現基于(yu)模(mo)板快速進行(xing)(xing)配置(zhi)，把所有信(xin)息匯集在一(yi)起(qi)，包括交易情況，各種(zhong)中(zhong)間件(jian)、服務器、數據(ju)庫等(deng)中(zhong)下(xia)層基礎設施(shi)的(de)信(xin)息，做到一(yi)眼就(jiu)能看(kan)清應(ying)用(yong)系統的(de)整體運行(xing)(xing)情況。
剛才提(ti)到(dao)的(de)(de)(de)(de)(de)(de)(de)這些應用(yong)案例(li)只是我(wo)們運維工(gong)具和平(ping)臺(tai)建(jian)(jian)設的(de)(de)(de)(de)(de)(de)(de)一(yi)部分，還有其(qi)他(ta)的(de)(de)(de)(de)(de)(de)(de)一(yi)些工(gong)作。比如正在進(jin)行(xing)的(de)(de)(de)(de)(de)(de)(de)標(biao)準(zhun)化組(zu)件(jian)開(kai)發，我(wo)們建(jian)(jian)立了標(biao)準(zhun)的(de)(de)(de)(de)(de)(de)(de)日志組(zu)件(jian)提(ti)供(gong)給應用(yong)開(kai)發團隊(dui)使(shi)用(yong)，其(qi)他(ta)類型的(de)(de)(de)(de)(de)(de)(de)組(zu)件(jian)也在設計(ji)(ji)。運維下一(yi)步(bu)的(de)(de)(de)(de)(de)(de)(de)規劃分幾(ji)個方(fang)(fang)面，一(yi)方(fang)(fang)面深入設計(ji)(ji)應用(yong)場景，部分開(kai)始實現業務方(fang)(fang)面的(de)(de)(de)(de)(de)(de)(de)需求，這個我(wo)們與業務部門(men)在做合作推廣；另(ling)一(yi)方(fang)(fang)面，會加強前端平(ping)臺(tai)層面的(de)(de)(de)(de)(de)(de)(de)建(jian)(jian)設，即時(shi)(shi)通(tong)訊的(de)(de)(de)(de)(de)(de)(de)聯動，提(ti)供(gong)更豐(feng)富的(de)(de)(de)(de)(de)(de)(de)API，移動端的(de)(de)(de)(de)(de)(de)(de)展示等等；同時(shi)(shi)，計(ji)(ji)劃把更多海(hai)量數據通(tong)過機器學(xue)習，抽象為(wei)知識沉淀到(dao)知識管(guan)理(li)體(ti)系，再形成一(yi)套固定的(de)(de)(de)(de)(de)(de)(de)后(hou)處理(li)方(fang)(fang)案，通(tong)過自(zi)(zi)動化，實現自(zi)(zi)愈自(zi)(zi)治的(de)(de)(de)(de)(de)(de)(de)能力。
我的分享就(jiu)到這里，謝(xie)謝(xie)大(da)家！
文章編輯：CobiNet(寧波)
本公司專注于電訊配件,銅纜綜合布線系列領域產品研發生產超五類，六類,七類線，屏蔽模塊，配線架及相關模塊配件(jian)的研(yan)發(fa)和(he)生產。
