1、互聯網的快速發(fā)展和網絡用戶的急劇增加使得Web日志飛速增長。如何從海量Web日志數據中挖掘出有用的信息不僅成為了當前數據挖掘的熱點，而且也是擺在多數企業(yè)面前的難題。傳統基于單一節(jié)點的Web挖掘系統的存儲和計算能力早已不能有效處理規(guī)模龐大的Web日志數據。因此采用分布式存儲和計算已經成為當前Web日志挖掘發(fā)展的必然趨勢。Hadoop是當前使用較為廣泛的分布式存儲和計算框架。Hadoop分布式計算框架的高可靠性、高擴展性、高容錯性等優(yōu)點使其

2、成為當前海量數據處理的利器，在多個領域中得到了大規(guī)模應用。
　　本論文運用Hadoop分布式架構和Web日志挖掘技術實現了一個網絡用戶瀏覽器使用行為分析系統。系統通過挖掘海量Web日志數據研究用戶瀏覽器使用行為，從而為網站開發(fā)者提供支持，輔助其處理瀏覽器兼容問題。論文的主要工作和工作成果如下:
　　(1)實現系統整體架構設計。論文從目前課題研究的現實問題出發(fā)，結合Hadoop分布式架構和Web日志挖掘技術，按照Web日志數據

3、挖掘的流程，設計了分布式數據存儲、分布式數據分析和數據展示三大功能模塊。
　　(2)實現Web日志數據的收集和預處理。Web日志數據是系統處理分析的數據源。本文主要通過頁面植入代碼的技術實現Web日志數據的收集，同時完成Web日志的預處理，確保日志中記錄的完整性。
　　(3)實現了并行編程模型的開發(fā)。論文根據收集上來Web日志數據的特點，編寫了Map和Reduce函數，使系統能聚焦到每條日志記錄中瀏覽器信息并且識別出瀏覽器類

4、型。
　　(4)完成了Hadoop分布式平臺的搭建。在配置好硬件和軟件環(huán)境的基礎上，論文完成了Hadoop環(huán)境配置和配置文件的編輯，成功搭建起了Hadoop分布式平臺。
　　(5)完成了系統性能測試和計算結果分析應用。論文測試系統處理每M數據所用時間和集群加速兩大性能指標，并且對系統測試得到的計算結果進行了分析應用，輔助網站開發(fā)者處理瀏覽器兼容問題。
　　系統性能測試結果表明論文中搭建起Hadoop分布式系統能夠有效處