1、SEM（Search Engine Marketing，搜索引擎營銷）是在用戶使用搜索引擎進行搜索時，將希望傳遞的信息顯示給目標用戶的一種推廣方式[1]。推廣方在搜索引擎平臺對不同的關鍵詞進行投放，使推廣的頁面有更高頻率和概率顯示到搜索用戶面前，使用戶發(fā)現并通過點擊進入相應的頁面。京東商城每天都有上億的流量訪問，商城獲取流量的方式多種多樣，其中SEM是其極其重要的流量來源。京東商城有大量商品分類和具體商品頁面信息，不同商品分類、不同的商

2、品、不同的促銷都有不同的推廣的需求。國內有百度、搜狗、360搜索、神馬搜索幾家主要搜索引擎廠商，運營人員每天要維護不同搜索引擎平臺上推廣賬戶的SEM投放信息，并需要分析各個賬戶的投放效果，以便更新關鍵詞的投放比例，投放價格，業(yè)務邏輯復雜、數據維度多、數據量龐大。
　　論文依據京東商城的實際需求，設計和實現了SEM廣告數據分析系統(tǒng)。該系統(tǒng)維護京東商城在各家搜索引擎上的所有SEM投放賬號，自動獲取和存儲各個賬號在不同平臺的投放效果數據

3、，分析并產出投放報表，同時提供統(tǒng)一的有效提高投放效果和投放效率的投放操作。系統(tǒng)主要功能包括數據報表和實時投放。系統(tǒng)實現技術包括hadoop，hive，pig，oozie，druid，elastic search，node.js，shell，python等，完成數據的拉取、聚合、查詢、修改和媒體端交互等功能。
　　系統(tǒng)設計將系統(tǒng)分為fetcher, druid_data_generator, olap_data_loader, ui

4、，save_es，query_es，upload幾個主要模塊。fetcher模塊主要負責從各家搜索引擎的提供的差異化的API，以統(tǒng)一的方式，定時調度獲取并經格式處理存儲到hive中;druid_data_generator模塊負責將拉取的數據與商城后臺的數據進行各個維度的聚合;olap_data_loader負責將聚合后的數據從Hive上傳到druid; ui負責從druid查詢各個維度的數據并顯示;save_es負責投放操作的數據保存

5、與修改，用于與投放媒體端交互同步數據;uploader負責與媒體端交互，將修改的操作實時的上傳到媒體端實現投放數據的實際修改。
　　本人參與了系統(tǒng)需求分析、設計和實現的全過程。獨立設計和實現了fetcher模塊、druid_ data_ loader和save_es的部分功能，實現了數據源的穩(wěn)定抓取、數據轉化聚合，并完成elasic search數據的存儲和性能優(yōu)化。
　　論文實現的SEM廣告數據分析系統(tǒng)系統(tǒng)最終已經上線并穩(wěn)