1、隨著移動互聯網的發(fā)展，網站、視頻和移動客戶端等各種渠道產生的廣告越來越多，使得廣告播放中產生的日志的數據量呈現出爆炸式增長的趨勢。原有廣告質量監(jiān)控系統隨著廣告日志數據爆發(fā)性增長，遇到了性能和擴展上的瓶頸，變得難以滿足業(yè)務的擴展。如何有效收集、計算和存儲廣告播放過程中大規(guī)模的日志數據來實時地分析各地區(qū)的廣告播放情況就成了新的挑戰(zhàn)。
　　大數據處理技術的出現和發(fā)展，為這類問題的解決提供了新的思路。本文針對原有廣告播放質量監(jiān)控系統在性能

2、和可擴展性上存在的問題，從數據收集，實時計算，數據存儲等三方面進行優(yōu)化。通過利用大數據處理技術，包括Flume日志收集系統、RocketMQ消息隊列、Storm實時計算系統和Redis內存數據庫等，以提升整個系統的性能。
　　論文主要工作如下:
　　第一，優(yōu)化了系統的數據收集層，引入Flume日志收集系統作為數據收集層實時導入數據，使用RocketMQ替代Redis消息隊列，解決了Redis列隊容量受內存限制以及消費者故障后

3、可以回溯消費的需求。
　　第二，實時計算邏輯優(yōu)化。根據廣告播放系統日志需要多時間粒度統計的特點，優(yōu)化計算邏輯，減少寫Redis緩存的次數。
　　第三，存儲層次化優(yōu)化。采用統一查詢接口服務，從而通過配置擴容支持Redis按業(yè)務橫向擴展。利用數據庫連接池技術，以提升統一接口的訪問效率。將熱點緩存清理的方式變成通過RDB文件清理Redis的方式，減少了清理緩存時使用的內存。通過Redis監(jiān)控的可視化，從而可以動態(tài)監(jiān)控Redis存儲