1、本論文的主題是機票實時數據處理系統(tǒng)的設計與實現，來源于公司大數據部的實際業(yè)務需求。該公司業(yè)務核心是訂購機票服務，線上機票訂購系統(tǒng)每天都會產生大量的交易數據，存儲在MySQL和日志文件中。由于分庫分表策略，機票交易數據分布在3500多個MySQL數據庫中，涉及近五萬張表。本系統(tǒng)對大量的機票數據進行實時的處理和展示，以滿足運營以及決策人員的數據查詢需求。
　　本系統(tǒng)分為四部分，分別為數據實時同步，數據處理，數據存儲以及數據展示。為了保

2、證數據采集的實時性，本系統(tǒng)使用Canal（基于MySQL Binlog的實時同步開源項目）來完成MySQL數據庫的實時數據同步功能。數據處理部分根據存儲和展示方式的不同，分為ElasticSearch（實時全文檢索引擎）處理程序，同構數據處理程序，Storm(分布式流數據實時框架)實時處理程序三部分。ElasticSearch處理程序用于根據業(yè)務規(guī)則整合機票信息，將所有信息放入一張表，存儲到ElasticSearch中，用于大數據量的任

3、意字段的實時查詢。同構數據處理部分根據分庫分表策略，將不同數據庫相同表名中的信息整合到同一張表中。全量數據存儲在HBase中，用于指定字段的實時查詢，不支持任意字段的實時查詢。同時，兩天內的數據會存儲到MySQL，完成郵件報表等功能。Storm實時數據處理部分則實現了機票交易信息的實時看板功能，利用Storm的實時計算能力，對線上交易數據進行統(tǒng)計，通過折線圖，表格等方式實時地進行結果展示。
　　在本系統(tǒng)之前，公司采用基于Hive的