IBM Streams v4.2 輕松實(shí)現(xiàn)快速大數(shù)據(jù)處理

---

很多的大型企業(yè)客戶需要Streams在部署的關(guān)鍵應(yīng)用中發(fā)揮極限性能。Streams v4.2在性能方面取得了重大的突破。

下面我們一起看看改善Streams性能的關(guān)鍵技術(shù)：

自動(dòng)融合和動(dòng)態(tài)線程

在性能增強(qiáng)和應(yīng)用程序部署方面最大的變化是引入自動(dòng)融合和動(dòng)態(tài)線程。 融合的概念就是將操作符組合為PE。 在 V4.2 之前融合確定是在編譯時(shí)決定的，默認(rèn)值為每 PE一個(gè)操作符。 對(duì)融合的更改需要重新編譯或者程序中的線程定義。 V4.2 可以根據(jù)資源狀況自動(dòng)確定融合。 手動(dòng)配置約束依然優(yōu)先，用戶還可以指定PE的總數(shù)量，或者要求1比1。默認(rèn)情況下線程是自動(dòng)的，其大小是在運(yùn)行時(shí)確定，并且根據(jù)吞吐量和應(yīng)用負(fù)載的變化動(dòng)態(tài)調(diào)整。 這可以大大減少 PE過程和系統(tǒng)負(fù)載，同時(shí)提高了性能。

并行區(qū)域增強(qiáng)功能

從3.2版Streams通過并行區(qū)域（@parallel ）允許開發(fā)人員復(fù)制區(qū)域中的應(yīng)用程序，從而提升處理性能。V4.2 添加嵌套并行區(qū)域的支持和將某個(gè)流的所有元組發(fā)送到所有渠道的能力。

調(diào)度程序和配置增強(qiáng)功能

改進(jìn)的調(diào)度程序，可以針對(duì)不同規(guī)模的集群提供更好的資源利用率。允許為特定應(yīng)用程序保留資源。

在提交任務(wù)時(shí)允許通過一個(gè)單獨(dú)的配置文件提供應(yīng)用程序的配置和參數(shù)，這樣可以使用不同的配置文件，不需要任何代碼更改或重新編譯即可在不同環(huán)境下運(yùn)行相同的應(yīng)用程序。比如從測(cè)試完成上線時(shí)，只需更換相應(yīng)的配置文件就可以匹配生產(chǎn)環(huán)境中的資源了。

一致區(qū)域增強(qiáng)功能

V4.0 開始通過一致區(qū)域來支持流數(shù)據(jù)處理一次和最多處理一次。 一致區(qū)域中的操作符使用Chandy Lamport算法生成檢查點(diǎn)來建立全局一致的狀態(tài)。 V4.2已作出若干改善以提高性能和減少延遲。這包括異步非阻塞檢查點(diǎn)，增加建立和恢復(fù)檢查點(diǎn)的并發(fā)能力，另外可以通過 Hyperstate 加速器(一個(gè)硬件加速的存儲(chǔ))用于檢查點(diǎn)。

請(qǐng)?jiān)L問Streams文檔（http://www.ibm.com/support/knowledgecenter/zh/SSCRJU_4.2.0/com.ibm.streams.welcome.doc/doc/ibminfospherestreams-whats-new.html），了解以上的改進(jìn)或新特性的更多內(nèi)容。

如果你想進(jìn)一步提升Streams應(yīng)用或流計(jì)算的性能，不妨馬上試用Streams v4.2。

慧都控件網(wǎng)年終促銷第一波已開啟，全場(chǎng)6折起，豪禮搶不停>>>

截止時(shí)間：2016年10月30日

更多大數(shù)據(jù)與分析相關(guān)行業(yè)資訊、解決方案、案例、教程等請(qǐng)點(diǎn)擊查看>>>

詳情請(qǐng)咨詢在線客服！

客服熱線：023-66090381