合并的流處理

InfoSphere Streams 主要設(shè)計(jì)目的是：

• 快速響應(yīng)事件和不斷變化的業(yè)務(wù)條件與需求。
  

• 支持以比現(xiàn)有系統(tǒng)快幾個(gè)數(shù)量級(jí)的速度對(duì)數(shù)據(jù)執(zhí)行持續(xù)分析。
  

• 快速適應(yīng)不斷變化的數(shù)據(jù)形式和類型。
  

• 管理新的流模式的高可用性、異構(gòu)性和分布。
  

• 為共享的信息提供安全性和信息機(jī)密性。

InfoSphere Streams 提供了一種編程模型和 IDE 來定義數(shù)據(jù)來源，還提供了已融合到處理執(zhí)行單元中的運(yùn)算符軟件來分析模塊。以及基礎(chǔ)架構(gòu)來支持從這些組件合成可擴(kuò)展的流處理應(yīng)用程序。主要平臺(tái)組件包括：

• 運(yùn)行時(shí)環(huán)境：這包括平臺(tái)服務(wù)，以及一個(gè)用于在單個(gè)主機(jī)或一組集成的主機(jī)上部署和監(jiān)視 Streams 應(yīng)用程序的調(diào)度程序。
  

• 編程模型：您可使用 SPL（Streams Processing Language，流處理語(yǔ)言，一種聲明性語(yǔ)言）來編寫 Streams 應(yīng)用程序。可使用該語(yǔ)言陳述您的需求，運(yùn)行時(shí)環(huán)境會(huì)承擔(dān)確定如何最佳地服務(wù)該請(qǐng)求的責(zé)任。在此模型中，一個(gè) Streams 應(yīng)用程序表示為一個(gè)由運(yùn)算符和連接它們的流組成的圖表。
  

• 監(jiān)視工具和管理接口：Streams 應(yīng)用程序處理數(shù)據(jù)的速度比普通的操作系統(tǒng)監(jiān)視實(shí)用程序快得多。InfoSphere Streams 提供了可處理此環(huán)境的工具。

流處理語(yǔ)言

SPL，InfoSphere Streams 的編程語(yǔ)言，是一種分布式數(shù)據(jù)流合成語(yǔ)言。它是一種類似 C++ 或 Java? 的可擴(kuò)展且全功能的語(yǔ)言，支持用戶定義的數(shù)據(jù)類型。您可以使用 SPL 或原生語(yǔ)言（C++ 或 Java）編寫自定義函數(shù)。也可以使用 C++ 或 Java 編寫用戶定義的運(yùn)算符。

InfoSphere Streams 持續(xù)應(yīng)用程序會(huì)描述一個(gè)導(dǎo)向圖，該圖由各個(gè)互聯(lián)且處理多個(gè)數(shù)據(jù)流的運(yùn)算符組成。數(shù)據(jù)流可來自系統(tǒng)外部，或者在應(yīng)用程序內(nèi)部生成。SPL 程序的基本構(gòu)建塊包括：

• 流：一個(gè)無限的結(jié)構(gòu)化元組序列。它可逐個(gè)元組地由運(yùn)算符使用或通過一個(gè)窗口的定義來使用。
  

• 元組：屬性及其類型的一個(gè)結(jié)構(gòu)化列表。流上的每個(gè)元組擁有由其流類型指定的形式。
  

• 流類型：指定元組中每個(gè)屬性的名稱和數(shù)據(jù)類型。
  

• 窗口：一個(gè)有限、有序的元組分組。它可以基于計(jì)數(shù)、時(shí)間、屬性值或標(biāo)點(diǎn)符號(hào)。
  

• 運(yùn)算符：SPL 的基礎(chǔ)構(gòu)建塊，它的運(yùn)算符會(huì)處理來自流的數(shù)據(jù)并可生成新流。
  

• 處理元素 (PE)：基礎(chǔ)執(zhí)行單元。一個(gè) PE 可封裝單個(gè)運(yùn)算符或多個(gè)合并的運(yùn)算符。
  

• 作業(yè)：一個(gè)已部署好的用來執(zhí)行的 Streams 應(yīng)用程序。它由一個(gè)或多個(gè) PE 組成。除了一組 PE 之外，SPL 編譯器還會(huì)生成一個(gè) ADL（Application Description Language，應(yīng)用程序描述語(yǔ)言）文件來描述應(yīng)用程序的結(jié)構(gòu)。該 ADL 文件包含每個(gè) PE 的詳細(xì)信息，比如要加載和執(zhí)行哪個(gè)二進(jìn)制文件，調(diào)度限制、流格式和一個(gè)內(nèi)部運(yùn)算符數(shù)據(jù)流圖。
  

  
  

SPL 程序的 InfoSphere Streams 運(yùn)行時(shí)視圖：

InfoSphere Streams 能夠幫助您：

分析動(dòng)態(tài)數(shù)據(jù):

• 支持分析連續(xù)數(shù)據(jù)，包括文本、圖像、音頻、語(yǔ)音、視頻、Web 流量、電子郵件、GPS 數(shù)據(jù)、財(cái)務(wù)交易、衛(wèi)星數(shù)據(jù)和傳感器日志。

• 包含用于高級(jí)分析的工具箱和加速器，包括近乎實(shí)時(shí)地分析來自遠(yuǎn)程通信系統(tǒng)的大量流數(shù)據(jù)的遠(yuǎn)程通信事件數(shù)據(jù)加速器，以及用于分析社交媒體數(shù)據(jù)的社交數(shù)據(jù)加速器。

• 在運(yùn)行時(shí)計(jì)算集群的一個(gè)或多個(gè)節(jié)點(diǎn)上分發(fā)程序部分，幫助實(shí)現(xiàn)每秒數(shù)百萬條消息量以及毫秒級(jí)別流通速度。

• 使您能夠從大量瑣碎信息中僅過濾和抽取相關(guān)數(shù)據(jù)，從而幫助降低數(shù)據(jù)存儲(chǔ)成本。

• 基于數(shù)據(jù)量或分析復(fù)雜性，從單個(gè)服務(wù)器擴(kuò)展至成千上萬個(gè)計(jì)算機(jī)節(jié)點(diǎn)。

• 提供安全性功能和機(jī)密性以用于共享信息。

簡(jiǎn)化流應(yīng)用程序開發(fā)

• 您能夠通過拖拽操作構(gòu)建應(yīng)用程序，還能使用數(shù)據(jù)可視化功能（例如，圖表和圖形）向運(yùn)行中的應(yīng)用程序動(dòng)態(tài)地添加新視圖。

• 支持您創(chuàng)建、編輯、可視化、測(cè)試、調(diào)試和運(yùn)行 Streams Processing Language (SPL) 應(yīng)用程序。

• 提供組合功能以提高應(yīng)用程序模塊化程度，支持大型或分布式應(yīng)用程序開發(fā)團(tuán)隊(duì)。

• 使您能夠在單個(gè)流定義中嵌套和聚集數(shù)據(jù)類型。

• 支持在開發(fā)集群上構(gòu)建應(yīng)用程序并投入生產(chǎn)，而無需重新編譯。

擴(kuò)展現(xiàn)有系統(tǒng)的價(jià)值

• 適應(yīng)快速變化的數(shù)據(jù)表單和類型。

• 您能夠快速開發(fā)可映射至各種硬件配置的新應(yīng)用程序。

• 支持復(fù)用現(xiàn)有 Java 或 C++ 代碼，以及預(yù)測(cè)模型標(biāo)記語(yǔ)言 (PMML) 模型。

• 包含一個(gè)有限的 IBM InfoSphere BigInsights 許可證 - 一個(gè)用于分析大量靜態(tài)非結(jié)構(gòu)化數(shù)據(jù)的基于 Hadoop 的產(chǎn)品。

• 集成 IBM DB2、IBM Informix、IBM Netezza、IBM solidDB、IBM InfoSphere Warehouse、IBM Smart Analytics System、Oracle、Microsoft SQL Server 和 MySQL。

開發(fā)環(huán)境

InfoSphere Streams 提供了一個(gè)敏捷開發(fā)環(huán)境，該環(huán)境由 Eclipse IDE、Streams Live Graph 視圖和一個(gè)流調(diào)試器組成。該平臺(tái)還包含用于加速和簡(jiǎn)化特定功能或行業(yè)的解決方案開發(fā)的工具包。

此外，您可定義您自己的工具包，提供可重用的運(yùn)算符和函數(shù)集，并創(chuàng)建跨領(lǐng)域和特定于領(lǐng)域的加速器。它們可包含原始和組合運(yùn)算符，也可同時(shí)使用原生和 SPL 函數(shù)。

BigInsights 和 InfoSphere Streams 之間的集成和交互

不斷從系統(tǒng)中生成大量寶貴數(shù)據(jù)的公司正面臨為以下兩個(gè)重要用途而分析數(shù)據(jù)的問題困擾：及時(shí)感知和響應(yīng)當(dāng)前事件，根據(jù)歷史知識(shí)進(jìn)行預(yù)測(cè)，從而指導(dǎo)響應(yīng)。這一情形產(chǎn)生了無縫運(yùn)行移動(dòng)數(shù)據(jù)（當(dāng)前數(shù)據(jù)）和靜止數(shù)據(jù)（歷史數(shù)據(jù)）分析、處理海量、多樣性、高速產(chǎn)生的數(shù)據(jù)的需求。IBM 的移動(dòng)數(shù)據(jù) (InfoSphere Streams) 與靜止數(shù)據(jù) (BigInsights) 平臺(tái)的集成解決了 3 個(gè)主要應(yīng)用場(chǎng)景的需求：

• 可伸縮的數(shù)據(jù)獲?。?/strong>通過 Streams 持續(xù)將數(shù)據(jù)獲取到 BigInsights 中。例如，通常需要獲取來自社交媒體來源（比如 Twitter 和 Facebook）的非結(jié)構(gòu)化文本數(shù)據(jù)，以提取各種類型的態(tài)度和線索。在這種情況下，如果文本提取在獲取數(shù)據(jù)時(shí)執(zhí)行，那么盡早消除垃圾郵件等無關(guān)數(shù)據(jù)會(huì)讓效率高很多。這種集成使公司能夠避免巨額的非必要存儲(chǔ)成本。

• 加速和充實(shí)：從 BigInsights 生辰歷史上下文來加速分析和充實(shí)傳入的 Streams 數(shù)據(jù)。BigInsights 可用于分析在較長(zhǎng)的時(shí)間窗口內(nèi)從各種連續(xù)和靜態(tài)的數(shù)據(jù)來源吸收和集成的數(shù)據(jù)。此分析的結(jié)果為各種在線分析提供了上下文，可用于將它們引導(dǎo)至一種已知狀態(tài)。回到社交媒體應(yīng)用程序的場(chǎng)景，一條傳入的 Twitter 消息僅擁有發(fā)布該消息的人的 ID。但是，歷史數(shù)據(jù)可通過屬性（比如影響者）充實(shí)該信息，為執(zhí)行下游分析以適當(dāng)應(yīng)對(duì)此用戶所表達(dá)的態(tài)度提供機(jī)會(huì)。

• 自適應(yīng)分析模型：BigInsights 上的分析操作（比如數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)或統(tǒng)計(jì)建模）所生成的模型。這些可用作分析 Streams 上的傳入數(shù)據(jù)的基礎(chǔ)，基于實(shí)時(shí)觀察結(jié)果而更新。

IBM 大數(shù)據(jù)平臺(tái)的移動(dòng)數(shù)據(jù)和靜止數(shù)據(jù)部分可通過 3 種主要的組件類型來集成：

• 通用分析：相同的分析功能可用在 Streams 和 BigInsights 上。

• 通用數(shù)據(jù)格式：Streams 格式運(yùn)算符可在 Streams 元組格式和 BigInsights 使用的數(shù)據(jù)格式之間轉(zhuǎn)換數(shù)據(jù)。

• 數(shù)據(jù)交換適配器：Streams Source 和 Sink 適配器可用于與 BigInsights 交換數(shù)據(jù)。