大數(shù)據(jù)可視化的途徑

CobiNet(寧波)推薦文章：

人們預(yù)期數(shù)據(jù)可視化過(guò)程會(huì)繼續(xù)發(fā)展，也許更多的是藝術(shù)和科學(xué)的混合，而不是數(shù)字計(jì)算技術(shù)。

顯示結(jié)果

數(shù)據(jù)可視化是指以圖形或圖表格式通過(guò)人工或以其他方式組織和顯示數(shù)據(jù)，以使受眾能夠：

更清楚地查看分析結(jié)果

簡(jiǎn)化正在使用的數(shù)據(jù)中的復(fù)雜性

了解并掌握正在使用的數(shù)據(jù)制作方法

可視化并不是一個(gè)新的概念

這種使用圖片(排版、色彩、對(duì)比度和形狀)來(lái)傳達(dá)或理解數(shù)據(jù)的概念并不是新鮮事物，從17世紀(jì)的手工描繪地圖和圖形到十九世紀(jì)初發(fā)明的餅圖都是這種形式。

如今，計(jì)算機(jī)可以用來(lái)快速處理大量的數(shù)據(jù)，使可視化更具價(jià)值。展望未來(lái)，人們可以預(yù)期數(shù)據(jù)可視化過(guò)程將會(huì)繼續(xù)發(fā)展，也許更多的是一種藝術(shù)和科學(xué)的混合，而不是數(shù)字計(jì)算技術(shù)。

即時(shí)滿(mǎn)足

數(shù)據(jù)可視化演進(jìn)過(guò)程的一個(gè)令人興奮的例子是，業(yè)界如何將數(shù)據(jù)可視化過(guò)程轉(zhuǎn)移到生成和發(fā)布圖表和圖形的過(guò)程中，供觀(guān)眾進(jìn)行審查和仔細(xì)考慮，從而設(shè)定了交互式可視化的期望。

通過(guò)交互式的可視化，人們可以更多地使用數(shù)據(jù)可視化的概念，進(jìn)一步利用技術(shù)讓觀(guān)眾與數(shù)據(jù)交互，為用戶(hù)提供自助服務(wù)能力，以實(shí)時(shí)(或接近實(shí)時(shí))交互式地深入到生成的圖片、圖表、圖形(訪(fǎng)問(wèn)更多或特定的細(xì)節(jié))來(lái)改變顯示的數(shù)據(jù)(可能是不同的時(shí)間框架或事件)以及如何處理和/或呈現(xiàn)(可能選擇條形圖而不是餅圖)。這使可視化更加有效和個(gè)性化。

人們可以通過(guò)使用數(shù)據(jù)驅(qū)動(dòng)文檔(D3)的典型網(wǎng)絡(luò)瀏覽器在各種示例中介紹顯示大數(shù)據(jù)分析結(jié)果的主題。D3允許將預(yù)先構(gòu)建的數(shù)據(jù)可視化應(yīng)用于數(shù)據(jù)集。

數(shù)據(jù)驅(qū)動(dòng)的文件

數(shù)據(jù)驅(qū)動(dòng)的文檔在開(kāi)放社區(qū)中被稱(chēng)為D3。D3是一個(gè)采用JavaScript編寫(xiě)的開(kāi)源庫(kù)。其目標(biāo)是允許使用標(biāo)準(zhǔn)網(wǎng)頁(yè)瀏覽技術(shù)(如HTML或CSS)輕松地處理基于數(shù)據(jù)的文檔。它的附加值是為用戶(hù)提供全面的功能，而無(wú)需自己構(gòu)建或綁定到某個(gè)專(zhuān)用的框架中。

這些庫(kù)組件為用戶(hù)提供了優(yōu)秀的大數(shù)據(jù)可視化工具和DOM操作的數(shù)據(jù)驅(qū)動(dòng)方法。 D3的功能風(fēng)格允許用戶(hù)重新使用已經(jīng)構(gòu)建的庫(kù)代碼模塊(或者其他已經(jīng)構(gòu)建的代碼模塊))來(lái)添加用戶(hù)需要或想要(或不想要)的任何特定功能。這就創(chuàng)建了一種可以變得像用戶(hù)想要的那樣強(qiáng)大(或者有時(shí)間去做)的手段，為其數(shù)據(jù)可視化提供一個(gè)獨(dú)特的風(fēng)格，操縱并使之互動(dòng)，這正是用戶(hù)想要或需要的。

儀表板

正如前面所討論的，事實(shí)上人們每天都在收集和積累大量數(shù)據(jù)，而組織出于各種原因依賴(lài)這些信息。

這些數(shù)據(jù)使用各種報(bào)告格式，包括數(shù)據(jù)儀表板。就像所有的事情一樣，人們對(duì)于數(shù)據(jù)儀表板的定義有各種各樣的擔(dān)心。

例如，A.Chiang寫(xiě)道： 儀表板是實(shí)現(xiàn)一個(gè)或多個(gè)目標(biāo)所需的最重要信息的直觀(guān)展示。在一個(gè)屏幕上合并和排列，以便一目了然地監(jiān)視信息。

無(wú)論其定義如何，如果設(shè)計(jì)和建造得當(dāng)?shù)脑?huà)，任何儀表板都有能力為受眾提供及時(shí)而重要的信息，供決策者使用。

儀表盤(pán)以相關(guān)的、簡(jiǎn)明的、深思熟慮的方式(不僅僅是工作簿或電子表格中的可視表示的集合)呈現(xiàn)數(shù)據(jù)是至關(guān)重要的。而儀表盤(pán)上的數(shù)據(jù)顯示過(guò)時(shí)和錯(cuò)誤，那么由此做出決定可能會(huì)導(dǎo)致災(zāi)難。

通過(guò)儀表板可以演示解決方案的工作示例，而這樣的示例基于使用Tableau的實(shí)時(shí)儀表盤(pán)格式，基于大數(shù)據(jù)分析有效呈現(xiàn)出結(jié)果。

Tableau是一種商業(yè)智能軟件，旨在幫助人們查看和理解數(shù)據(jù)。Tableau不僅僅是一個(gè)代碼庫(kù)，也被認(rèn)為是一組或一系列交互式數(shù)據(jù)可視化產(chǎn)品。

Tableau的結(jié)構(gòu)可以使人們能夠?qū)?lái)自多個(gè)來(lái)源的多個(gè)數(shù)據(jù)視圖組合到一個(gè)高效的儀表板中，從而為數(shù)據(jù)消費(fèi)者提供更豐富的見(jiàn)解。Tableau還可以處理各種格式(包括結(jié)構(gòu)化和非結(jié)構(gòu)化)的數(shù)據(jù)，并且可以處理大數(shù)據(jù)量(可能是TB字節(jié)或PB字節(jié)，或數(shù)百萬(wàn)或數(shù)十億行代碼)，從而將大數(shù)據(jù)轉(zhuǎn)化為針對(duì)目標(biāo)受眾的有價(jià)值的可視化結(jié)果。

為了解決當(dāng)今大數(shù)據(jù)世界的速度問(wèn)題，人們可以使用Tableau直接連接到本地?cái)?shù)據(jù)中心和云端的數(shù)據(jù)源，或者將數(shù)據(jù)導(dǎo)入快速內(nèi)存性能。

Tableau的另一個(gè)目標(biāo)是自助服務(wù)分析，用戶(hù)可以通過(guò)對(duì)話(huà)選擇數(shù)據(jù)來(lái)提問(wèn)(實(shí)時(shí)模式而不是批處理模式)使用簡(jiǎn)單的點(diǎn)擊分析直觀(guān)地挖掘大數(shù)據(jù)，并有效地發(fā)現(xiàn)數(shù)據(jù)集或數(shù)據(jù)集中可能存在的理解和機(jī)會(huì)。

Tableau提供的一些令人興奮的功能包括：

實(shí)時(shí)拖放聚類(lèi)分析

交叉數(shù)據(jù)源加入

強(qiáng)大的數(shù)據(jù)連接器

移動(dòng)啟用

實(shí)時(shí)的地區(qū)或區(qū)域數(shù)據(jù)探索

異常值

異常點(diǎn)是一個(gè)與數(shù)據(jù)中其他觀(guān)測(cè)數(shù)據(jù)點(diǎn)相距甚遠(yuǎn)或極大不同的觀(guān)測(cè)點(diǎn)。盡管異常值通常只表示大約1%到5%的數(shù)據(jù)，但當(dāng)企業(yè)處理大數(shù)據(jù)時(shí)，調(diào)查甚至只是查看數(shù)據(jù)的1%到5%是相當(dāng)困難的。

調(diào)查和決定

人們可以看到，異常值可以被確定為非影響力的或者對(duì)數(shù)據(jù)可視化所要處理的點(diǎn)非常有影響力。

做出這一決定的行為或過(guò)程對(duì)于企業(yè)的分析非常重要，但處理大數(shù)據(jù)的大容量、多樣性和速度也是非常困難的。例如，幫助做出這個(gè)決定的一個(gè)基本步驟是測(cè)定樣品的大小，這是一個(gè)計(jì)算異常值與數(shù)據(jù)樣本大小的主要數(shù)學(xué)過(guò)程，當(dāng)數(shù)據(jù)量十分龐大時(shí)，這不是一個(gè)簡(jiǎn)單的任務(wù)。

人們可以使用Python高效地識(shí)別和處理大數(shù)據(jù)異常值(以及其他一些數(shù)據(jù)集異常)。Python是一種腳本語(yǔ)言，它非常容易學(xué)習(xí)，因?yàn)樗木幋a語(yǔ)法非常類(lèi)似于英語(yǔ)。

Python是2016年9種最受歡迎的編程語(yǔ)言之一，由Bouwkamp公司提供，Python被列在頂級(jí)的按需編程語(yǔ)言中。

Python誕生于1989年，由Guido van Rossum創(chuàng)建，實(shí)際上Python的使用非常簡(jiǎn)單，但業(yè)界也認(rèn)為其功能非常強(qiáng)大，速度快，可以在任何環(huán)境中運(yùn)行。

根據(jù)定義描述， 開(kāi)放源代碼Python是世界各地許多公司和機(jī)構(gòu)的生產(chǎn)力，軟件質(zhì)量和可維護(hù)性成功公式的一部分。

業(yè)界對(duì)利用Python語(yǔ)言進(jìn)行數(shù)據(jù)分析和大數(shù)據(jù)分析的興趣日益濃厚，而且它是數(shù)據(jù)科學(xué)家日常工作的選擇，因?yàn)樗峁┝艘粋€(gè)庫(kù)，實(shí)際上是一個(gè)標(biāo)準(zhǔn)庫(kù)(甚至有些專(zhuān)注于大數(shù)據(jù)，如Pydoop和SciPy)來(lái)完成幾乎所有人需要或想要處理的數(shù)據(jù)，包括：

自動(dòng)化

建立網(wǎng)站和網(wǎng)頁(yè)

訪(fǎng)問(wèn)和操作數(shù)據(jù)

計(jì)算統(tǒng)計(jì)

創(chuàng)建可視化

報(bào)告

建立預(yù)測(cè)和解釋模型

評(píng)估額外數(shù)據(jù)的模型

將模型整合到生產(chǎn)系統(tǒng)中

最后要說(shuō)明的是，Python的標(biāo)準(zhǔn)庫(kù)非常廣泛，提供了一系列內(nèi)置模塊來(lái)提供對(duì)系統(tǒng)功能的訪(fǎng)問(wèn)，以及標(biāo)準(zhǔn)化的解決方案來(lái)解決日常編程中出現(xiàn)的許多問(wèn)題，這是探索處理大數(shù)據(jù)離群值和相關(guān)處理的一個(gè)明顯選擇。

操作智能

操作智能(OI)是一種分析方法，試圖通過(guò)(通常是機(jī)器生成的)操作或事件數(shù)據(jù)來(lái)提供可視性和洞察力，實(shí)時(shí)運(yùn)行針對(duì)數(shù)據(jù)流饋送的查詢(xún)，產(chǎn)生作為操作指令的分析結(jié)果，可以通過(guò)人工或自動(dòng)操作(將數(shù)據(jù)集轉(zhuǎn)化為價(jià)值的明確例子)讓組織立即執(zhí)行。

復(fù)雜的操作智能(OI)系統(tǒng)還提供了將元數(shù)據(jù)與數(shù)據(jù)中發(fā)現(xiàn)的某些度量、流程步驟、渠道等相關(guān)聯(lián)的能力。有了這個(gè)能力，就很容易獲得額外的相關(guān)信息，例如，機(jī)器生成的操作數(shù)據(jù)通常都具有唯一的標(biāo)識(shí)符和結(jié)果或狀態(tài)代碼。這些代碼或標(biāo)識(shí)符對(duì)于處理和存儲(chǔ)可能是有效的，但是并不總是易于理解。為了使這些數(shù)據(jù)更具可讀性(因此更有價(jià)值)，可以將更多用戶(hù)友好的附加信息與數(shù)據(jù)結(jié)果相關(guān)聯(lián) - 可能是以狀態(tài)或事件描述的形式，或者可能是產(chǎn)品名稱(chēng)或機(jī)器名稱(chēng)。

一旦了解將基本分析和可視化技術(shù)應(yīng)用于操作大數(shù)據(jù)的挑戰(zhàn)，數(shù)據(jù)的價(jià)值可以更好或更快地實(shí)現(xiàn)。人們將運(yùn)用Splunk智能化操作來(lái)展示操作或大數(shù)據(jù)評(píng)估解決方案的工作示例。

那么，什么是Splunk?Splunk開(kāi)始是一種 Google for Log 文件。它還有更多的功能...它存儲(chǔ)所有的日志，并提供非?？焖俚乃阉鞴δ埽笾戮拖馟oogle為互聯(lián)網(wǎng)做的一樣...

Splunk軟件是幫助實(shí)現(xiàn)隱藏的價(jià)值在機(jī)器生成的一個(gè)很好的工具，使用Splunk，企業(yè)可以在一個(gè)地方收集、索引、搜索、分析，以及可視化所有數(shù)據(jù)，從幾乎任何地方提供一種整合方法，可以從大量機(jī)器數(shù)據(jù)中組織和提取實(shí)時(shí)信息。

Splunk將數(shù)據(jù)存儲(chǔ)在文件中，為文件分配索引。 Splunk不需要在后臺(tái)運(yùn)行任何數(shù)據(jù)庫(kù)軟件來(lái)實(shí)現(xiàn)此目的。Splunk調(diào)用這些文件索引器。Splunk可以對(duì)任何類(lèi)型的時(shí)間序列數(shù)據(jù)(具有時(shí)間戳的數(shù)據(jù))進(jìn)行索引，使其成為大數(shù)據(jù)操作智能(OI)解決方案的最佳選擇。在數(shù)據(jù)索引期間，Splunk會(huì)根據(jù)其標(biāo)識(shí)的時(shí)間戳將數(shù)據(jù)分解為事件。

盡管使用簡(jiǎn)單的搜索術(shù)語(yǔ)(例如機(jī)器ID)，Splunk也提供了自己的搜索處理語(yǔ)言(SPL)。 Splunk SPL(將其視為SQL類(lèi)型)是一種非常強(qiáng)大的工具，用于搜索大數(shù)據(jù)并對(duì)特定場(chǎng)景中的相關(guān)內(nèi)容執(zhí)行統(tǒng)計(jì)操作。

責(zé)任編輯：娟子編輯

文章編輯：CobiNet(寧波)  
本公司專(zhuān)注于電訊配件,銅纜綜合布線(xiàn)系列領(lǐng)域產(chǎn)品研發(fā)生產(chǎn)超五類(lèi)，六類(lèi),七類(lèi)線(xiàn)，屏蔽模塊，配線(xiàn)架及相關(guān)模塊配件的研發(fā)和生產(chǎn)。

歡迎來(lái)電咨詢(xún)0574 88168918,郵箱sales@cobinet.cn，網(wǎng)址aliance.cn