Operations Console：IBM InfoSphere DataStage 實(shí)時(shí)監(jiān)控和統(tǒng)一運(yùn)維平臺

IBM InfoSphere DataStage Operations Console 是一個(gè)基于 Web 的監(jiān)視工具。它為 InfoSphere DataStage 和 QualityStage 客戶提供了 IBM InfoSphere Information Server 引擎操作環(huán)境的全面視圖，監(jiān)視當(dāng)前和過去的作業(yè)活動、服務(wù)器資源使用情況和服務(wù)器引擎流程的健康狀態(tài)。如圖所示：

一、利用Operations Console的強(qiáng)大功能，能讓我們更好地均衡系統(tǒng)工作負(fù)載、對引擎問題進(jìn)行故障診斷以及更有效地調(diào)度作業(yè)運(yùn)行

• 同時(shí)監(jiān)控多個(gè)業(yè)務(wù)場景中的DataStage引擎層

• 創(chuàng)建ETL生產(chǎn)環(huán)境的360度視圖，一站式提供所有作業(yè)運(yùn)行狀態(tài)、系統(tǒng)資源使用情況和 IBM InfoSphere Information Server 引擎層狀態(tài)信息，可快速確定集成環(huán)境的整體狀態(tài)并在發(fā)生問題時(shí)收到警報(bào)

• 跟蹤并分析歷史運(yùn)行記錄，針對特定周期也提供相同的環(huán)境整體視圖。此歷史視圖使用戶能夠在沒有主動監(jiān)控環(huán)境的情況下確定所發(fā)生的沖突和性能問題

• 提供工作負(fù)載管理功能(Workload Management)，管理任務(wù)隊(duì)列，設(shè)定作業(yè)運(yùn)行的優(yōu)先級和并發(fā)度，控制作業(yè)所使用的CPU或內(nèi)存等系統(tǒng)資源

二、Operations Console的使用場景

1.對失敗的作業(yè)運(yùn)行進(jìn)行故障診斷

作業(yè)可能因各種原因而失敗。如果沒有環(huán)境的引擎級視圖，那么確定這些原因可能十分困難。Operations Console 在作業(yè)運(yùn)行失敗時(shí)立即發(fā)出警報(bào)，以便我們可以在問題發(fā)生后立即糾正問題。作業(yè)運(yùn)行失敗后，我們也可以快速地查看故障前、故障期間以及故障后發(fā)生的所有 InfoSphere Information Server 引擎活動的列表。

 

通過Operations Console 所提示的信息向下鉆取，可發(fā)現(xiàn)失敗的作業(yè)依賴于其他由于運(yùn)行時(shí)間異常而未能完成的作業(yè)之間的內(nèi)在聯(lián)系。這樣，我們可以查看當(dāng)作業(yè)遇到這些問題時(shí)收集的所有其他作業(yè)運(yùn)行和系統(tǒng)資源使用情況信息。通過使用這些信息進(jìn)行問題定位，以便在下次調(diào)度作業(yè)運(yùn)行時(shí)不會發(fā)生該問題。

2.提高作業(yè)運(yùn)行性能

如果沒有整個(gè)系統(tǒng)的視圖，那么確定導(dǎo)致作業(yè)性能差的原因?qū)浅＠щy。Operations Console 不僅能提供作業(yè)運(yùn)行調(diào)度和作業(yè)設(shè)計(jì)的信息，還能提供作業(yè)運(yùn)行時(shí)的系統(tǒng)資源使用情況。因此我們可以確定什么時(shí)候系統(tǒng)資源開銷過大？或者什么時(shí)候作業(yè)運(yùn)行所用的系統(tǒng)資源量超出預(yù)估。

此外，Operations Console 還能夠輕松地將當(dāng)前運(yùn)行的作業(yè)與歷史運(yùn)行的作業(yè)進(jìn)行比較，以便確定導(dǎo)致性能變差或作業(yè)變更的潛在原因。

3.監(jiān)控DataStage服務(wù)器引擎狀態(tài)

當(dāng)InfoSphere DataStage 環(huán)境中發(fā)生問題時(shí)，Operations Console 可通過儀表板來顯示引擎層的后臺服務(wù)進(jìn)程狀況以及系統(tǒng)資源不足的預(yù)警。

4.合理設(shè)定DataStage服務(wù)器上資源使用的系統(tǒng)策略

Operations Console 支持為以下系統(tǒng)策略設(shè)置閾值：

• 作業(yè)并發(fā)數(shù)

指定系統(tǒng)允許并發(fā)運(yùn)行的最大作業(yè)數(shù)。

• CPU 使用率

指定系統(tǒng)所允許的最大 CPU 使用率。如果當(dāng)前 CPU 使用率超出該值，將不允許啟動新的作業(yè)

• 內(nèi)存使用量

指定系統(tǒng)所允許的最大內(nèi)存使用率。如果當(dāng)前內(nèi)存使用率超出該值，將不允許啟動新的作業(yè)。

• 作業(yè)啟動數(shù)

指定規(guī)定時(shí)間內(nèi)(以秒為單位)允許啟動的最大作業(yè)數(shù)

三、Operations Console 架構(gòu)和工作原理

Operations Console的整體架構(gòu)由以下組件構(gòu)成：

• Operations 數(shù)據(jù)庫，用來存放作業(yè)的運(yùn)行信息以及系統(tǒng)的資源信息。

• 在 DataStage 服務(wù)器上的進(jìn)程 EngMonApp，它用來獲得作業(yè)的運(yùn)行事件信息并寫入 Operations 數(shù)據(jù)庫。

• 在 DataStage 服務(wù)器上的進(jìn)程 ResMonApp，它用來獲得系統(tǒng)資源的使用信息并寫入 Operations 數(shù)據(jù)庫。

• 在 DataStage 服務(wù)器上的進(jìn)程 ResTrackApp，用來在本地的節(jié)點(diǎn)或者是遠(yuǎn)程節(jié)點(diǎn)上獲得系統(tǒng)資源的使用信息，并且發(fā)送給 ResMonApp。

• 在 DataStage 服務(wù)器上的進(jìn)程 ODBQueryAPP，把在 Operations 數(shù)據(jù)庫中的作業(yè)的運(yùn)行信息和系統(tǒng)資源使用信息提供給 Operations Console。

• Operations Console Web GUI, 基于瀏覽器的應(yīng)用。它用來展示從 Operations 數(shù)據(jù)庫獲得的作業(yè)運(yùn)行信息和系統(tǒng)資源使用信息，以及從元數(shù)據(jù)存儲倉庫中獲得的作業(yè)的設(shè)計(jì)信息

Operations Console 架構(gòu)圖

Operations Console的工作流程主要包括加載和查詢：

• 加載操作

當(dāng)啟用了 Operations Console 時(shí)，系統(tǒng)將采集和整合作業(yè)執(zhí)行詳細(xì)信息(參數(shù)、狀態(tài)、統(tǒng)計(jì)信息和日志等)和系統(tǒng)資源利用率信息(CPU、內(nèi)存和磁盤等)，并以較短的間隔定期將它們插入到Operations Database 中。

• 查詢操作

當(dāng)使用基于 Web 的客戶端監(jiān)視作業(yè)執(zhí)行或查看作業(yè)運(yùn)行歷史時(shí)，將提交針對 Operations Database 的查詢請求，信息查詢會使用服務(wù)層中的服務(wù)檢索，返回符合要求的實(shí)時(shí)結(jié)果至前端動態(tài)展現(xiàn)。

四、如何配置Operations Console

1.創(chuàng)建 Operations 數(shù)據(jù)庫模式

建議在初始化安裝DataStage的時(shí)候，使用DB2自動化創(chuàng)建Operations數(shù)據(jù)庫，否則需要按照以下步驟手工創(chuàng)建：

• 手工創(chuàng)建DB2數(shù)據(jù)庫(也可以是Oracle或SQL Server)

• 將創(chuàng)建完成的數(shù)據(jù)庫注冊為Operations數(shù)據(jù)庫

  a.在DataStage服務(wù)器上，切換到目錄/opt/IBM/InformationServer/ASBServer/bin

  b.將/opt/IBM/InformationServer/Server/DSODB目錄下的DSODBrepos_registration.properties模板文件復(fù)制到當(dāng)前目錄

  c.編輯DSODBrepos_registration.properties文件，指定在步驟a中創(chuàng)建的數(shù)據(jù)庫配置信息

d.運(yùn)行以下命令注冊為Operations數(shù)據(jù)庫

RepositoryAdmin.sh -registerRepository -propertyFile DSODBrepos_registration.properties

e.檢查注冊是否成功

RepositoryAdmin.sh -listRepositories

將創(chuàng)建完成的數(shù)據(jù)庫注冊為Operations數(shù)據(jù)庫

• 生成用于Operations數(shù)據(jù)庫模式的腳本

a.在DataStage服務(wù)器上，切換到目錄/opt/IBM/InformationServer/ASBServer/bin

b.運(yùn)行RepositoryAdmin工具以生成所需的腳本(name是數(shù)據(jù)庫名，location是生成腳本的目錄):

RepositoryAdmin.sh -saveSQLScripts -reposName name -scriptLocation location

• 運(yùn)行以下腳本，為DB2數(shù)據(jù)庫創(chuàng)建Operations數(shù)據(jù)庫模式：

  db2 -l dsodb_setup_db.log -stf dsodb_db_creation.sql

  db2 -l dsodb_setup_tablespace.log -stf dsodb_tablespace_creation.sql

  db2 -l dsodb_setup_table.log -stf dsodb_table_creation.sql

2.配置Operations 數(shù)據(jù)庫將要捕獲的監(jiān)控?cái)?shù)據(jù)

• 所有作業(yè)的數(shù)據(jù)監(jiān)控選項(xiàng)都在DSODBConfig.cfg 配置文件中進(jìn)行設(shè)置，該文件位于/opt/IBM/InformationServer/Server/DSODB/目錄下。

• 必須設(shè)置DSODBON=1，以啟用監(jiān)控?cái)?shù)據(jù)捕獲。其他參數(shù)可根據(jù)實(shí)際需求來定制。

3.檢查監(jiān)控系統(tǒng)的配置

運(yùn)行DSAppWatcher.sh腳本來檢查監(jiān)控系統(tǒng)的配置是否正確。

4.啟動AppWatcher進(jìn)程，開始收集監(jiān)控?cái)?shù)據(jù)

DSAppWatcher.sh –start

5.配置工作負(fù)載管理(Workload Management)

• 配置/opt/IBM/InformationServer/Server/DSODB/目錄下的DSODBConfig.cfg文件，設(shè)置WLMON=1

• 重新啟動DataStage引擎

  uv -admin -stop

  uv -admin -start

6.啟動Operations Console

訪問以下鏈接，登陸 Operations Console:

http://domain:port/ibm/iis/ds/console/login.html 或

https://domain:port/ibm/iis/ds/console/login.html

• domain為DataStage服務(wù)器的主機(jī)名或IP

• port為http或https端口號