大數(shù)據(jù)可視化的最新動態(tài)

---

引言

數(shù)據(jù)可視化是將數(shù)據(jù)以不同形式展現(xiàn)在不同系統(tǒng)中，其中包括屬性和變量的單位信息。基于可視化發(fā)現(xiàn)數(shù)據(jù)的方法允許用戶使用不同的數(shù)據(jù)源，來創(chuàng)建自定義分析。先進(jìn)的分析集成了許多方法，為了支持交互式動畫在臺式電腦、筆記本電腦或平板電腦、智能手機(jī)等移動設(shè)備上創(chuàng)建圖形桌面。根據(jù)調(diào)查，表1顯示了數(shù)據(jù)可視化的好處。

對于可視化有以下幾點(diǎn)建議

大數(shù)據(jù)是大容量、高速度并且數(shù)據(jù)之間差異很大的數(shù)據(jù)集，因此需要新的處理方法來優(yōu)化決策的流程。大數(shù)據(jù)的挑戰(zhàn)在于數(shù)據(jù)采集、存儲、分析、共享、搜索和可視化[5]

1、“所有數(shù)據(jù)都必須可視化”：不要過分依賴可視化，一些數(shù)據(jù)不需要可視化方法來表達(dá)它的消息。

2、“只有好的數(shù)據(jù)才應(yīng)該做可視化”：簡便的可視化可以便于找到錯誤就像數(shù)據(jù)有助于發(fā)現(xiàn)有趣的趨勢一樣。

3、“可視化總是能做出正確的決定”：可視化并不能代替批判性思維。

4、“可視化將意味著準(zhǔn)確性”：數(shù)據(jù)可視化并不著重于顯示一個準(zhǔn)確的圖像，而是它可以表達(dá)出不同的效果。

常規(guī)數(shù)據(jù)可視化方法

許多傳統(tǒng)的數(shù)據(jù)可視化方法經(jīng)常被使用，比如表格、直方圖、散點(diǎn)圖、折線圖、柱狀圖、餅圖、面積圖、流程圖、泡沫圖表等以及圖表的多個數(shù)據(jù)系列或組合像時間線、維恩圖、數(shù)據(jù)流圖、實(shí)體關(guān)系圖等。此外，一些數(shù)據(jù)可視化方法經(jīng)常被使用，卻不像前面那些使用的廣泛，它們是平行坐標(biāo)式、樹狀圖、錐形樹圖和語義網(wǎng)絡(luò)等。

平行坐標(biāo)被用于繪制多維度個體數(shù)據(jù)。平行坐標(biāo)在顯示多維數(shù)據(jù)時是非常有用的。圖1就是平行坐標(biāo)；樹狀圖則是一種有效的可視化層次結(jié)構(gòu)方法。每個子矩形的面積代表一個測量，而它的顏色常被用來代表另一個測量的數(shù)據(jù)。圖2顯示了一個選擇流媒體音樂和視頻的樹狀圖，是在一個社交網(wǎng)絡(luò)社區(qū)獲得的數(shù)據(jù)；錐形樹圖是另一種顯示分層數(shù)據(jù)的方法，如三維空間中的組織體，它的樹枝是錐生長的形式；語義網(wǎng)絡(luò)是一個表示不同概念之間的邏輯關(guān)系的圖形。它生成有向圖，組合節(jié)點(diǎn)或頂點(diǎn)，邊或弧，并在每個邊上做標(biāo)記。

可視化并非僅僅是靜態(tài)形式，而應(yīng)當(dāng)是互動的。交互式可視化可以通過縮放等方法進(jìn)行細(xì)節(jié)概述。它有如下的步驟：

1、選擇：交互式根據(jù)用戶的興趣選擇數(shù)據(jù)實(shí)體或完整的數(shù)據(jù)集，以及它的子集。

2、鏈接：在多個視圖找到有用的信息，如圖3所示。

3、過濾：幫助用戶調(diào)節(jié)顯示的信息量，減少信息數(shù)量并且專注于用戶感興趣的信息。

重排或再映射：空間布局是最重要的視覺映射，重排信息的空間布局對產(chǎn)生不同的見解非常有效。

新的數(shù)據(jù)庫技術(shù)和前沿的網(wǎng)絡(luò)可視化方法可能是減少成本的重要因素，也有助于完善科研的進(jìn)程。隨著網(wǎng)絡(luò)時代的到來，數(shù)據(jù)時時都在更新，大大減小了可視化的時效性。這些“低端”可視化通常用于商業(yè)分析和政府?dāng)?shù)據(jù)的開放，但它們對科研沒有太大的幫助。許多科學(xué)家使用的可視化工具都不允許連接這些網(wǎng)絡(luò)工具。

大數(shù)據(jù)可視化面臨的挑戰(zhàn)

拓展性和動態(tài)分析是可視化的兩個最主要的挑戰(zhàn)。根據(jù)數(shù)據(jù)量的大小，表2顯示了靜態(tài)數(shù)據(jù)和動態(tài)數(shù)據(jù)的研究現(xiàn)狀。對大型動態(tài)數(shù)據(jù)，原本A問題的答案和B問題的答案也許在同時應(yīng)對AB兩個問題時就不適用了。

基于可視化的方法迎接了四個“V”的挑戰(zhàn)，并將它們轉(zhuǎn)化成以下的機(jī)遇。

• 體量（Volume）：使用數(shù)據(jù)量很大的數(shù)據(jù)集開發(fā)，并從大數(shù)據(jù)中獲得意義。

• 多源（Variety）：開發(fā)過程中需要盡可能多的數(shù)據(jù)源。

• 高速（Velocity）：企業(yè)不用再分批處理數(shù)據(jù)，而是可以實(shí)時處理全部數(shù)據(jù)。

• 質(zhì)量（Value）：不僅為用戶創(chuàng)建有吸引力的信息圖和熱點(diǎn)圖，還能通過大數(shù)據(jù)獲取意見，創(chuàng)造商業(yè)價值。

大數(shù)據(jù)可視化的多樣性和異構(gòu)性(結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化)是一個大問題。高速是大數(shù)據(jù)分析的要素。在大數(shù)據(jù)中，設(shè)計(jì)一個新的可視化工具并具有高效的索引并非易事。云計(jì)算和先進(jìn)的圖形用戶界面更有助于發(fā)展大數(shù)據(jù)的擴(kuò)展性。

可視化系統(tǒng)必須與非結(jié)構(gòu)化的數(shù)據(jù)形式（如圖表、表格、文本、樹狀圖還有其他的元數(shù)據(jù)等）相抗衡，而大數(shù)據(jù)通常是以非結(jié)構(gòu)化形式出現(xiàn)的。由于寬帶限制和能源需求，可視化應(yīng)該更貼近數(shù)據(jù)，并有效地提取有意義的信息。可視化軟件應(yīng)以原位的方式運(yùn)行。由于大數(shù)據(jù)的容量問題，大規(guī)模并行化成為可視化過程的一個挑戰(zhàn)。而并行可視化算法的難點(diǎn)則是如何將一個問題分解為多個可同時運(yùn)行的獨(dú)立的任務(wù)。

高效的數(shù)據(jù)可視化是大數(shù)據(jù)時代發(fā)展進(jìn)程中關(guān)鍵的一部分。大數(shù)據(jù)的復(fù)雜性和高維度催生了幾種不同的降維方法。然而，他們可能并不總是那么適用。高維可視化越有效，識別出潛在的模式、相關(guān)性或離群值的概率越高。

大數(shù)據(jù)可視化還有以下幾點(diǎn)問題：

• 視覺噪聲：在數(shù)據(jù)集中，大多數(shù)對象之間具有很強(qiáng)的相關(guān)性。用戶無法把他們分離作為獨(dú)立的對象來顯示。

• 信息丟失：減少可視數(shù)據(jù)集的方法是可行的，但是這會導(dǎo)致信息的丟失。

• 大型圖像感知：數(shù)據(jù)可視化不僅受限于設(shè)備的長寬比和分辨率，也受限于現(xiàn)實(shí)世界的感受。

• 高速圖像變換：用戶雖然能觀察數(shù)據(jù)，卻不能對數(shù)據(jù)強(qiáng)度變化做出反應(yīng)。

• 高性能要求：在靜態(tài)可視化幾乎沒有這個要求，因?yàn)榭梢暬俣容^低，性能的要求也不高。

可感知的交互的擴(kuò)展性也是大數(shù)據(jù)可視化面臨的挑戰(zhàn)?？梢暬總€數(shù)據(jù)點(diǎn)都可能導(dǎo)致過度繪制而降低用戶的辨識能力，通過抽樣或過濾數(shù)據(jù)可以刪去離群值。查詢大規(guī)模數(shù)據(jù)庫的數(shù)據(jù)可能導(dǎo)致高延遲，降低交互速率。

在大數(shù)據(jù)的應(yīng)用程序中，大規(guī)模數(shù)據(jù)和高維度數(shù)據(jù)會使進(jìn)行數(shù)據(jù)可視化變得困難。當(dāng)前大多數(shù)大數(shù)據(jù)可視化工具在擴(kuò)展性、功能和響應(yīng)時間上表現(xiàn)非常糟糕?？梢暬治鲞^程中，不確定性是有效的考慮不確定性的可視化過程巨大挑戰(zhàn)。

可視化和大數(shù)據(jù)面臨許多的挑戰(zhàn)，下面是一些可能的解決方法：

1. 滿足高速需要：一是改善硬件，可以嘗試增加內(nèi)存和提高并行處理的能力。二是許多機(jī)器會用到的，將數(shù)據(jù)存儲好并使用網(wǎng)格計(jì)算方法。

2. 了解數(shù)據(jù)：請合適的專業(yè)領(lǐng)域人士解讀數(shù)據(jù)。

3. 訪問數(shù)據(jù)質(zhì)量：通過數(shù)據(jù)治理或信息管理確保干凈的數(shù)據(jù)十分必要。

4. 顯示有意義的結(jié)果：將數(shù)據(jù)聚集起來到一個更高層的視圖，在這里小型數(shù)據(jù)組和數(shù)據(jù)可以被有效地可視化。

5. 處理離群值：將數(shù)據(jù)中的離群值剔除或?yàn)殡x群值創(chuàng)建一個單獨(dú)的圖表。

大數(shù)據(jù)可視化的一些進(jìn)展

在大數(shù)據(jù)時代，可視化操作究竟是如何進(jìn)行的呢？首先可視化會為用戶提供一個總的概覽，再通過縮放和篩選，為人們提供其所需的更深入的細(xì)節(jié)信息。可視化的過程在幫助人們利用大數(shù)據(jù)獲取較為完整的客戶信息時起到了關(guān)鍵性作用。而錯綜的關(guān)系是眾多大數(shù)據(jù)場景中的重要一環(huán)，社交網(wǎng)絡(luò)或許就是最顯著的例子，想要通過文本或表格的形式理解其中的大數(shù)據(jù)信息是非常困難的；相反，可視化卻能夠?qū)⑦@些網(wǎng)絡(luò)的趨勢和固有模式展現(xiàn)地更為清晰。在形象體現(xiàn)社交網(wǎng)絡(luò)用戶之間的關(guān)系時，通常使用的是基于云計(jì)算的可視化方法。通過相關(guān)性模型來描繪社交網(wǎng)絡(luò)中用戶節(jié)點(diǎn)的層次關(guān)系，這種方法能夠直觀地展示用戶的社會關(guān)系。此外，它還能借助利用云技術(shù)的Hadoop軟件平臺將可視化過程并行化，從而加快社交網(wǎng)絡(luò)的大數(shù)據(jù)收集。

大數(shù)據(jù)可視化可以通過多種方法來實(shí)現(xiàn)，比如多角度展示數(shù)據(jù)、聚焦大量數(shù)據(jù)中的動態(tài)變化，以及篩選信息（包括動態(tài)問詢篩選，星圖展示，和緊密耦合）等等。以下一些可視化方法是按照不同的數(shù)據(jù)類型（大規(guī)模體數(shù)據(jù)、變化數(shù)據(jù)和動態(tài)數(shù)據(jù)）來進(jìn)行分析和分類的：

樹狀圖式 : 基于分層數(shù)據(jù)的空間填充可視化方法。

圓形填充式：樹狀圖式的直接替代。它使用圓形作為原始形狀，并能從更高級的分層結(jié)構(gòu)中引入更多的圓形。

旭日型：在樹狀圖可視化基礎(chǔ)上轉(zhuǎn)換到極坐標(biāo)系統(tǒng)。其中的可變參量由寬和高變成半徑和弧長。

平行坐標(biāo)式：通過可視化分析，將不同帝鄉(xiāng)的多重?cái)?shù)據(jù)因素拓展開來。

蒸汽圖式：堆疊區(qū)域圖的一種，數(shù)據(jù)圍繞一條中軸線展開，并伴隨流動及有機(jī)形態(tài)。

循環(huán)網(wǎng)絡(luò)圖式：數(shù)據(jù)圍繞一個圓形排列，并按照它們自身的相關(guān)性比率由曲線相互連接。通常用不同的線寬或色彩飽和度測量數(shù)據(jù)對象的相關(guān)性

傳統(tǒng)的數(shù)據(jù)可視化工具不足以被用來處理大數(shù)據(jù)。以下列舉了幾種將交互式大數(shù)據(jù)可視化的方法。首先，利用一個由可擴(kuò)展的直觀數(shù)據(jù)摘要群組成的設(shè)計(jì)空間可以將多種類型的變化數(shù)據(jù)可視化，這些直觀的數(shù)據(jù)摘要通過數(shù)據(jù)簡化（如聚合或抽樣）的方法得出。被應(yīng)用于特定區(qū)間的交互查詢方法(比如關(guān)聯(lián)和更新技術(shù))因此通過結(jié)合多元數(shù)據(jù)塊和并行查詢而被開發(fā)出來。而更先進(jìn)的方法被運(yùn)用在一個基于瀏覽器的視覺分析系統(tǒng)——imMens上，來處理數(shù)據(jù)以及對GPU（圖像處理器）進(jìn)行渲染。

很多大數(shù)據(jù)可視化工具都是在Hadoop的平臺上運(yùn)行的。該平臺里的常用模塊有:Hadoop Common, HDFS(Hadoop Distributed File System)，Hadoop YARN和Hadoop MapReduce。這些模塊能夠高效地分析大數(shù)據(jù)信息，但是卻缺乏足夠的可視化過程。下面將介紹一些具備可視化功能并實(shí)現(xiàn)交互式數(shù)據(jù)可視化的軟件：

Pentaho：一款支持商業(yè)智能（BI）功能的軟件，如分析、控制面板、企業(yè)級報表以及數(shù)據(jù)挖掘；

Flare：實(shí)現(xiàn)在Adobe視頻播放器中運(yùn)行的數(shù)據(jù)可視化；

JasperReports：擁有能夠從大數(shù)據(jù)庫中生成報告的全新軟件層；

Dygraphs：快速彈性的開放源Java描述語言圖表集合，能發(fā)現(xiàn)并處理不透明數(shù)據(jù)。

Datameer Analytics Solution and Cloudera：同時使用Datameer和Cloudera兩個軟件能使我們在Hadoop平臺時更快捷、更容易。

Platfora：將Hadoop中的原始大數(shù)據(jù)轉(zhuǎn)換成交互式數(shù)據(jù)處理引擎。Platfora還有把內(nèi)存數(shù)據(jù)引擎模塊化的功能。

ManyEyes：IBM公司開發(fā)的可視化工具。它可供用戶上傳數(shù)據(jù)并實(shí)現(xiàn)交互式可視化的公共網(wǎng)站。

Cognos：一款商業(yè)智能（BI）軟件，支持交互式和直觀數(shù)據(jù)分析，內(nèi)置內(nèi)存數(shù)據(jù)引擎來加速可視化處理。

IBM 使用功能強(qiáng)大的 Cognos 商業(yè)智能軟件來幫助客戶解決上述難題。Cognos BI 是一種預(yù)測、跟蹤、分析，并展示與業(yè)務(wù)績效相關(guān)的量化指標(biāo)的工具，通過對數(shù)據(jù)的收集、管理、分析以及轉(zhuǎn)化，使數(shù)據(jù)成為可用的信息，從中獲得必要的洞察力和理解力，更好地輔助決策和指導(dǎo)行動，以幫助企業(yè)決策者在正確的時間，正確的地點(diǎn)，做出明智的決策。

大數(shù)據(jù)分析工具可以輕而易舉地處理ZB（十萬億億字節(jié)）和PB（千萬億字節(jié)）數(shù)據(jù)，但它們往往不能將這些數(shù)據(jù)可視化。如今，主要大數(shù)據(jù)處理工具有Hadoop，High Performance Computing and Communications，Storm，Apache Drill，RapidMiner和 Pentaho BI。數(shù)據(jù)可視化工具有NodeBox，R，Weka，Gephi，Google Chart API，F(xiàn)lot，D3等等。一種在RHadoop基礎(chǔ)上形成的大數(shù)據(jù)可視化算法分析整合模型已經(jīng)被提出，用來處理ZB和PB數(shù)據(jù)并以可視化的方式為我們提供較高價值的分析結(jié)果。它還與ZB和PB數(shù)據(jù)并行算法的設(shè)計(jì)相切合。

交互式可視化集群分析是我們用來探尋集群模式最直接的方法。其中最具有挑戰(zhàn)性的一點(diǎn)是可視化多維數(shù)據(jù)，以便用戶交互式分析數(shù)據(jù)和認(rèn)識集群結(jié)構(gòu)。如今我們已經(jīng)開發(fā)出優(yōu)化的星型坐標(biāo)可視化模型，來有效分析大數(shù)據(jù)交互集群，它與其他多維可視化方法（如平行坐標(biāo)和散點(diǎn)圖矩陣）相比，極可能是最具備擴(kuò)展性的大數(shù)據(jù)可視化技術(shù)：

平行坐標(biāo)和散點(diǎn)圖矩陣通常被用來分析十個維度以內(nèi)的數(shù)據(jù)，而星型坐標(biāo)則可以處理數(shù)十個維度。

在基于密度代表的幫助下，星型坐標(biāo)式可視化自身得以擴(kuò)展。

基于星型坐標(biāo)的集群可視化并非是用于計(jì)算數(shù)據(jù)記錄中的兩兩距離；而是利用潛在映射模型的性能部分地保持這個位置關(guān)系。這一點(diǎn)在處理大數(shù)據(jù)上十分有用。

將大數(shù)據(jù)源直接可視化既不可能也不有效，因此通過分析數(shù)據(jù)減少大數(shù)據(jù)的量和降低其復(fù)雜程度就顯得十分重要。所以將可視化和分析相互整合才能使效能最大化。IBM公司開發(fā)的RAVE軟件已經(jīng)能夠?qū)⒖梢暬\(yùn)用到商業(yè)分析領(lǐng)域去分析并解決問題。RAVE和可拓展的可視化性能讓我們能夠利用有效的可視化更好地理解大數(shù)據(jù)。同時，其他的一些IBM產(chǎn)品，例如IBM® InfoSphere® BigInsights™和IBM SPSS® Analytic Catalyst，也同RAVE一起，利用交互可視化豐富用戶對大數(shù)據(jù)的洞察。例如InfoSphere BigInsights能夠幫助分析并發(fā)現(xiàn)隱藏在大數(shù)據(jù)中的商業(yè)信息，SPSS Analytic Catalyst使得大數(shù)據(jù)的準(zhǔn)備工作自動化，加之選取合適的分析過程，最后通過交互式可視化呈現(xiàn)最終結(jié)果。

在沉浸式VR（虛擬現(xiàn)實(shí)）平臺上進(jìn)行科學(xué)數(shù)據(jù)可視化當(dāng)下還在研究階段，其中包括軟件和便宜的商品硬件也在研究階段。這些具備潛在價值和創(chuàng)新力的多維數(shù)據(jù)可視化工具無疑為合作式數(shù)據(jù)可視化提供了便利。沉浸式可視化與傳統(tǒng)的“桌面式”可視化相比具備明顯的優(yōu)勢，因?yàn)樗梢愿玫卣宫F(xiàn)數(shù)據(jù)景觀結(jié)構(gòu)并進(jìn)行更直觀的數(shù)據(jù)分析。它還應(yīng)是我們探索更高維度、更抽象大數(shù)據(jù)的基點(diǎn)之一。人類固有的認(rèn)知模式（或者說是視覺認(rèn)知）技能能夠通過使用與沉浸式VR相關(guān)的新型數(shù)據(jù)實(shí)現(xiàn)最大化。

表格5是對以上大數(shù)據(jù)可視化軟件的SWOT分析總結(jié)，其中的競爭優(yōu)勢（Strengths）和機(jī)遇（Opportunities）是積極因素；競爭劣勢（Weaknesses）和威脅（Threats）是消極因素。

結(jié)論

可視化既可以是靜態(tài)的，也可以是動態(tài)的。交互式可視化通常引領(lǐng)著新的發(fā)現(xiàn)，并且比靜態(tài)數(shù)據(jù)工具能夠更好的進(jìn)行工作。所以交互式可視化為大數(shù)據(jù)帶來了無限前景。在可視化工具和網(wǎng)絡(luò)（或者說是Web瀏覽器工具）之間互動的關(guān)聯(lián)和更新技術(shù)助推了整個科學(xué)進(jìn)程。基于Web的可視化使我們可以及時獲取動態(tài)數(shù)據(jù)并實(shí)現(xiàn)實(shí)時可視化。

一些傳統(tǒng)的大數(shù)據(jù)可視化工具的延伸并不具備實(shí)際應(yīng)用性。針對不同的大數(shù)據(jù)應(yīng)用，我們應(yīng)該開發(fā)出更多新的方法。本文介紹了一些最新的大數(shù)據(jù)可視化方法并對這些軟件進(jìn)行了SWOT分析，以幫助我們能夠再此基礎(chǔ)上創(chuàng)新。大數(shù)據(jù)分析和可視化，二者的整合也讓大數(shù)據(jù)應(yīng)用更好地為人們所用。此外能夠有效幫助大數(shù)據(jù)可視化過程的沉浸式VR，也是我們處理高維度和抽象信息時強(qiáng)有力的新方法。

更多大數(shù)據(jù)與分析相關(guān)行業(yè)資訊、解決方案、案例、教程等請點(diǎn)擊查看>>>

詳情請咨詢在線客服！

客服熱線：023-66090381