1、Informatica PowerCenter 培訓,夏 凱2009-01,電話：13439473732MSN：xiakaicd@msn.com,,第一天,產品體系介紹產品安裝配置系統(tǒng)管理介紹開發(fā)六大步驟數據轉換調試,INFA產品線,INFA支持情況,,,,,PowerCenter選件,豐富的ETL功能,Real-Time 實時功能 Partitioning 分區(qū)功能 High Availability 高可靠性

2、功能 Pushdown 功能 Enterprise Grid網格功能 Team-based Development 團隊開發(fā)功能 Metadata Exchange 元數據交換功能 Unstructured Data 非結構化數據功能 Visio 模板Mapping生成器功能 Data Federation 數據聯邦功能 Data Profiling 數據質量探查功能,異構數據源，異構目標 實現多種緩慢變化維 全局

3、變量及參數，參數文件 局部變量，前后記錄比較 條件匯總 異構數據源關聯 行/列轉換 靜態(tài)、動態(tài)Lookup支持 ETL事務處理 自定義SQL Pre SQL和Post SQL 復用組件 復用Mapping 調用存儲過程 調用外部用戶自定義過程 可視化Debug 強大函數支持、豐富轉換語言,數據源為文件列表 Session Recovery 基于多目標表約束裝載 錯誤數量控制 FTP 源和FTP目標

4、 ETL任務分區(qū) 增量匯總 測試裝載 Bulk Loading External Loader (Oracle、DB2.) 復用Workflow 功能豐富的Workflow控制 任務串行、并行控制 基于時間、事件和指示文件觸發(fā) 任務 Workflow中調用OS外部命令 Workflow中調用Email 多ETL Server協(xié)同工作 ……,Informatica PowerCenter應用架構,P

5、owerCenter Server和數據移動,PowerCenter Server、資料庫、源和目標之間的處理路徑,PowerCenter產品組件,服務端組件客戶端組件,,第一天,產品體系介紹產品安裝配置系統(tǒng)管理介紹開發(fā)六大步驟數據轉換調試,產品安裝與樣例安裝,產品安裝服務器安裝客戶端安裝詳見安裝手冊樣例安裝數據庫準備RDBU （資料庫數據庫）SDBU （樣例源數據庫）TDBU （樣例目標數據庫

6、）BDBU （樣例參考數據庫）樣例數據準備樣例參考導入,,第一天,產品體系介紹產品安裝配置系統(tǒng)管理介紹開發(fā)六大步驟數據轉換調試,系統(tǒng)管理,Informatica Server管理http://localhost:6001Domain ManagerNode ManagerRepository Service ManagerIntegration Service ManagerLicense Manager

7、資料庫內容管理Repository ManagerFolder ManagerPrivilege Manager……,,第一天,產品體系介紹產品安裝配置系統(tǒng)管理介紹開發(fā)六大步驟數據轉換調試,開發(fā)六大步驟示意圖,,,,定義源定義目標創(chuàng)建映射定義任務創(chuàng)建工作流工作流調度監(jiān)控,Designer: ①~③Workflow Manager: ④~⑤Workflow Monitor: ⑥,第一步：定義源,引入源

8、的類型 Relational database Flat file COBOL file XML object Application,源分析器,Informatica Service,,,,ODBC Mapped DriveNFS MountingLocal Directory,Save Meta Data of Sources:OPB_SRCOPB_SRC_OPB_SRC_FLDOPB_SRC_FLD_…

9、…,第二步：定義目標,引入目標的類型 Relational database Flat file COBOL file XML object Application,目標分析器,Save Meta Data of Targets:OPB_TARGOPB_TARG_OPB_TARG_FLDOPB_TARG_FLD_……,第三步：創(chuàng)建映射,第四步：定義任務,第五步：定義工作流,第六步：工作流調度監(jiān)控,,第一天,產品體系

10、介紹產品安裝配置系統(tǒng)管理介紹開發(fā)六大步驟數據轉換調試,數據轉換調試,組件介紹Expression組件Filter與RouterJoiner與LookupAggregator組件Update Strategy組件,,第二天,組件列表,Source Qualifier: 從數據源讀取數據Expression: 行級轉換 Filter: 數據過濾Sorter: 數據排序 Aggregator: 聚合Joiner:

11、 異構數據關接連接Lookup: 查詢連接 Update Strategy: 對目標編輯 insert, update, delete, rejectRouter: 條件分發(fā)Sequence Generator: 序列號生成器,組件列表,Normalizer: 記錄規(guī)范化Rank: 對記錄進行TOPxUnion: 數據合并Transaction Control: 對裝載數據按條件進行事務控制Stored Proce

12、dure: 存儲過程組件 Custom: 用戶自定義組件HTTP: WWW組件Java: Java自編程組件,其它應用組件,組件類型,Passive組件流入流出組件的行數不發(fā)生變化例如：Expression、Lookup、HTTP組件Active組件流入流出組件的行數會發(fā)生變化例如：Aggregator、Router、Filter組件,×,P,A,√,函數分類,聚合函數字符串函數轉換函數數據清洗函數日期

13、函數編碼函數財務函數數值函數數學函數特有函數判斷函數用戶自定義函數,函數列表,組件介紹Expression組件Source Qualifier、 Filter與RouterJoiner與LookupAggregator組件Update Strategy組件,,第二天,Expression組件,組件功能基于行級的數據項賦值、修改、計算在同行記錄中可新增、減少數據項組件類型Passive組件應用范圍數據類

14、型轉換，例如Expression：to_date(Port1,’yyyymmdd’)數據項計算，例如Expression：(Port1+Port2)/Port3新增變量，例如Expression： i=i+1,Expression組件,練習一：Expression組件,描述將原始客戶信息記錄轉換成合格標準的數據導入到暫存區(qū)。 源表：customer_east.txtcustomer_west.txtcustomer_cen

15、tral.txt目標：TDBU.STG_CUSTOMERS要點姓與名合并為姓名；電話號碼轉換成易讀格式的電話號碼，如：(466)766-283；性別轉換，將F 轉換成FEMALE、M 轉換成MALE、其它轉換成UNK；年齡分段，20 歲以下、20~29、30~39、40~49、50~60、60 歲以上；解決方案詳見m_LAB_01,組件介紹Expression組件Source Qualifier、Filter與Ro

16、uterJoiner與LookupAggregator組件Update Strategy組件,,第二天,Source Qualifier、Filter組件,組件功能對流入組件中的記錄數據進行過濾類似于關系型數據庫Where應用與Source Qualifier的過濾功能區(qū)別在執(zhí)行位置上組件類型Active組件應用范圍數據過濾,Source Qualifier、Filter組件,注意：在Source Qualifie

17、r中的User Defined Join、Source Filter、Number of Sorted Ports中定義了SQL條件，那么，在Sql Query中就不要在重寫相關的SQL條件，否則，將不會生效。,Router組件,組件功能對流入組件中的記錄數據按照條件進行分發(fā)類似于Java語言中的Switch語句組件類型Active組件應用范圍數據分發(fā),Router組件,練習二,描述將暫存區(qū)的客戶信息按照性別分別導入

18、到男、女、性別不明三張表內。 源表：TDBU.STG_CUSTOMERS目標：TDBU.STG_CUSTOMERS_FEMALETDBU.STG_CUSTOMERS_MALETDBU.STG_CUSTOMERS_UNK要點償試用Filter組件多種方法對目標進行裝載解決方案詳見m_LAB_02,練習三,描述將暫存區(qū)的客戶信息按照性別分別導入到男、女、性別不明三張表內。源表：TDBU.STG_CUSTOMERS

19、目標：TDBU.STG_CUSTOMERS_FEMALETDBU.STG_CUSTOMERS_MALETDBU.STG_CUSTOMERS_UNK要點使用Router組件對數據進行分發(fā)比較Filter與Router各種方法的應用特點、性能解決方案詳見m_LAB_03,組件介紹Expression組件Source Qualifier、 Filter與RouterJoiner與LookupAggregator組件U

20、pdate Strategy組件,,第二天,Joiner組件,組件功能對異構數據進行關聯（同構關聯用Source Qualify組件）類似于SQL 中的Join語句組件類型Active組件應用范圍2個異構數據類型的表關聯,同構Joins與異構Joins,,,同構Joins,同種結構數據Source Qualify組件從源直接Joinsn個源可用1個SQ組件在源中先定義連接關系,,,異構Joins,不同DB或Flat與

21、Flat之間Joiner組件在PowerCenter中Joinsn-1個Joiner組件在Joiner中定義連接條件,Joiner組件,Join類型,練習四,描述將員工信息與員工工資2個異構表關聯后，將關聯結果數據倒入到暫存區(qū)。源表：Employees_layout結構Employees_list.txt文件目錄Employees_east.txtEmployees_west.txtEmployees_centra

22、l.txt Salary.txt 目標：TDBU.STG_EMPLOYEES要點用Joiner組件進行Mapping設計注意Master與Detail的設置選擇(關聯時建議將數據量少的設置為Master.)解決方案詳見m_LAB_04,練習五,描述將員工信息與員工工資2個同構表關聯后，將關聯結果數據倒入到暫存區(qū)。源表：SDBU.EMPLOYEESSDBU.SALARY目標：TDBU.STG_ EMPLOYEE

23、S要點用Source Qualify組件進行Mapping設計注意關聯關系設置建議N個同構數據源只需用1個Source Qualifier組件關聯，關聯時建議將在Source設計區(qū)將需要關聯的源表手工用連線關聯起來，在Mapping設計區(qū)刪除各個源所帶的Source Qualifier組件，用一個新的Source Qualifier組件包含所有源的字段內容。解決方案詳見m_LAB_05,Lookup組件,組件功能對Fla

24、t File或數據庫根據關聯的條件進行查詢返回符合條件的值，否則為空連接關聯與非連接關聯類似于SQL 中的Join語句組件類型Passive組件應用范圍查詢文本文件的關聯數據查詢數據庫的關聯數據,連接Lookup與非連接Lookup,Lookup源,Lookup組件,,,查詢條件：ITEM_ID = IN_ITEM_ID PRICE <= IN_PRICE,,,流入值,查詢輸出值,流入值,查詢到的值,Look

25、up組件,組件,,,查詢條件：IIF(ISNULL(customer_id),:lkp.MYLOOKUP(order_no),customer_id),,,是否查詢 Y,返回查詢到的值,,,Lookup組件,練習六,描述將員工信息去員工工資文本文件查詢員工工資信息，未查到的工資默認為0，最后將結果數據倒入到暫存區(qū)。源表：Employees_layout結構Employees_list.txt文件目錄Employees_ea

26、st.txtEmployees_west.txtEmployees_central.txtSalary.txt目標：TDBU.STG_EMPLOYEES要點用連接Lookup組件進行Mapping設計注意Salary（Flat File）的設置解決方案詳見m_LAB_06,練習七,描述將合格的員工信息去員工工資文本文件查詢員工工資信息，未查到的工資默認為0，最后將結果數據倒入到暫存區(qū)。源表：Employees_

27、layout結構Employees_list.txt文件目錄Employees_east.txtEmployees_west.txtEmployees_central.txtSalary.txt目標：TDBU.STG_EMPLOYEES要點用非連接Lookup組件進行Mapping設計注意Salary（Flat File）的設置注意數據查詢的條件解決方案詳見m_LAB_07,組件介紹Expression組件

28、Source Qualifier、 Filter與RouterJoiner與LookupAggregator組件Update Strategy組件,,第二天,Aggregator組件,組件功能對數據集進行聚合聚合分有SUM、AVG、Count、Max、Min……組件類型Active組件應用范圍分組匯總平均值、最大值,Aggregator組件,Aggregator組件函數,注意區(qū)別：SUM ( IN_count ,

29、IIF ( ID < 20, IN_count) )－－將不符合條件的值默認賦值為nullIIF ( ID < 20 , SUM ( IN_count ) )－－將不符合條件的值默認賦值為0,Aggregator組件屬性,Aggregator組件排序的區(qū)別,不對流入到Aggregator組件的數據進行排序,練習八,描述將采購清單按照數據倉庫星型設計原則進行標準化存儲，對貨物庫存量、訂單量和貨物費用按照采購編號、貨物品名、

30、代理商、訂單日期、接收日期和發(fā)貨日期進行匯總。源表：TDBU.STG_INVENTORY目標：TDBU.FACT_INVENTORYLOOKUP表：產品維表為DIM_PRODUCT日期維表為DIM_DATE 要點訂單文本文件與產品表的關聯匯總前排序分組匯總解決方案詳見m_LAB_08,,第二天,組件介紹Expression組件Source Qualifier、 Filter與RouterJoiner與Lo

31、okupAggregator組件Update Strategy組件,Update Strategy組件,組件功能對流過組件的每一條記錄賦一個操作標志根據操作標志對目標關系型數據庫表生成SQL操作操作標志有DD_INSERT、DD_DELETE、DD_UPDATE、DD_REJECT組件類型Active組件應用范圍數據增量更新對目標編輯,Update Strategy組件,練習九,描述將暫存區(qū)的發(fā)生變更了的員工信息倒

32、入到員工維表中。 源表：TDBU.STG_EMPLOYEES 目標：TDBU.DIM_EMPLOYEES要點使用Router組件對數據按不同要求進行編輯操作償試用一個Update Strategy組件完成上述功能解決方案詳見m_LAB_09,,第三天,增量抽取實例參數文件控制斷點續(xù)傳實例存儲過程實例行列轉換實例系統(tǒng)性能調優(yōu),增量抽取實例,實例描述對流過組件的每一條記錄賦一個操作標志根據操作標志對目標關系型

33、數據庫表生成SQL操作操作標志有DD_INSERT、DD_DELETE、DD_UPDATE、DD_REJECT解決方案全表比較方法時間戳方法詳見m_LAB_10字段壓縮比較PowerExchange,,第三天,增量抽取實例參數文件控制斷點續(xù)傳實例存儲過程實例行列轉換實例系統(tǒng)性能調優(yōu),參數與變量存在的三種形式,系統(tǒng)級變量SYSDATE系統(tǒng)日期SESSSTARTTIMESESSION啟動時間$$$Sess

34、StartTime 返回Session啟動時間的字符串值Mapping級參數與變量SETMAXVARIABLE($$Variable,value)設置最大值變量SETMINVARIABLE($$Variable,value)設置最小值變量SETVARIABLE($$Variable,value)設置變量值SETCOUNTVARIABLE($$Variable)設置遞增、減變量文件級參數與變量固定格式,Mappi

35、ng參數與變量形式,從Designer 中的Mappings/Mapplets 菜單中進行定義在相應的Mapping或Mapplet中進行引用即可,參數文件形式,,全局變量,,域級服務變量,,節(jié)點級服務處理變量,,Workflow級變量 優(yōu)先于前幾級定義的變量,參數文件設置,Workflow參數文件設置,,參數文件的級別規(guī)則,,GLOBAL,SERVICE,SERVICE PROCESS,WORKFLOW,SESSION,,使用范圍

36、,,執(zhí)行優(yōu)先權,高,低,低,高,Mapping與Workflow/Worklet之間進行變量傳遞,使用不同參數文件并行運行同一個Workflow,參數文件實例,實例描述對源文本文件名進行參數化對源表名進行參數化對目標輸出文本文件名進行參數化對源與目標的數據庫連接進行參數化對日志文件及路徑進行參數化解決方案詳見m_LAB_11注意事項注意變量的命名規(guī)則：特別是固定的前綴,,第三天,增量抽取實例參數文件控制斷點續(xù)傳實例

37、存儲過程實例行列轉換實例系統(tǒng)性能調優(yōu),斷點續(xù)傳實例,實例描述當在數據抽取時，因意外致使數據抽取發(fā)生中斷，重新啟動服務時仍可從斷點執(zhí)行數據抽取解決方案通過表pm_recovery和PM_TGT_RUN_ID記載最近提交點的位置，當session失敗(或停止)后可從斷點處接著裝載數據，在monitor中，recover task。在源表數據未發(fā)生變化的前提下詳見m_LAB_12監(jiān)控腳本select * from pm_r

38、ecovery ;select row_count from pm_recovery ;select * from PM_TGT_RUN_ID;select count(*) from SessionRecovery_Target ;truncate table SessionRecovery_Target ;,斷點續(xù)傳實例,,第三天,增量抽取實例參數文件控制斷點續(xù)傳實例存儲過程實例行列轉換實例系統(tǒng)性能調優(yōu),存儲過

39、程實例,實例描述將原始客戶信息記錄轉換成合格標準的數據倒入到暫存區(qū)，轉換處理在存儲過程中完成 源表：customer_east.txtcustomer_west.txtcustomer_central.txt目標：TDBU.STG_CUSTOMERS解決方案見存儲過程EMP_INFA_TRANSFORM詳見m_LAB_13,,第三天,增量抽取實例參數文件控制斷點續(xù)傳實例存儲過程實例行列轉換實例系統(tǒng)性能調優(yōu),

40、列行轉換實例,實例描述源數據一條記錄有多個字段格式一樣，經過格式化，到目標生成多條記錄，并且只保留一個該格式字段。解決方案使用Normalizer組件，實現列/行轉變詳見m_LAB_14_1行列轉轉用Aggregator組件實現，詳見m_LAB_14_2,,第三天,增量抽取實例參數文件控制斷點續(xù)傳實例存儲過程實例行列轉換實例系統(tǒng)性能調優(yōu),瓶頸類型,Source瓶頸Target瓶頸Mapping瓶頸Sessio

41、n瓶頸System瓶頸,Source調優(yōu),源為文本文件調優(yōu)Line Sequential Buffer Length(1024) 源為關系型數據庫在Source Qualify優(yōu)化SQL在源數據增加索引增加Database network Packet size當DB跟Informatica在同一機器上，使用IPC協(xié)議,Target調優(yōu),目標為文本文件調優(yōu)Line Sequential Buffer Length(102

42、4) 目標為關系型數據庫刪除目標索引和約束增加checkpoint interval使用Bulk loading和External Loading增加Database network Packet sizeOracle調優(yōu)數據庫：Large intial and next value (storage clause)Rollback segments最優(yōu)化redo log，見：init.ora當Oracle跟Info

43、rmatica在同一機器上，使用IPC協(xié)議,Mapping調優(yōu),最少化轉換組件減少不必要的link對Aggregator, Joiner, Rank, Lookup 等組件，減少連接的input/output和output字段。Single Pass：讀一次數據，多處使用。減少數據類型轉換：數值的比較比字符串要快。減少轉換錯誤：使用session tracing terse。組件調優(yōu)：lookup組件、Filter組件、Ag

44、gregator組件、Joiner組件、調優(yōu)Sequence Generator調優(yōu)表達式,Session調優(yōu),增加Partition調優(yōu)Session參數增加：DTM buffer pool size: 可以增加Buffer Block的數目。增加：buffer block size: 可以增加一次處理的數據的行數。增加：Commit IntervalEnable high precision ：double 15 to

45、decimal 28,System調優(yōu),增加network speed：本地速度一般是網絡的5-20倍；文件拷貝到本地。使用Informatica Grid當只處理7-bit ASCII 或EBCDIC數據時，選用ASCII data movement mode：只使用一個字節(jié)存儲數據。減少Paging(虛擬內存)：在UNIX系統(tǒng)下，使用processor binding將資源分配給Informatica,Thank you !,