1、本文對基于MapReduce的聚類算法的并行化進行了研究。聚類分析是數(shù)據(jù)挖掘中的重要內(nèi)容，在工業(yè)、商業(yè)和科研等領(lǐng)域發(fā)揮著越來越重要的作用，然而隨著這些領(lǐng)域中產(chǎn)生的數(shù)據(jù)量高速增長，在傳統(tǒng)的計算機上對大規(guī)模數(shù)據(jù)集進行聚類分析需要花費很長的時間。使用并行算法可以有效的解決這一問題。由Google提出的MapReduce并行計算模型主要是針對海量數(shù)據(jù)的處理，相對傳統(tǒng)的并行計算模型，它由底層對數(shù)據(jù)分割、任務(wù)分配、并行處理、容錯等細節(jié)問題進行封裝，

2、極大的簡化了并行程序設(shè)計。在使用MapReduce進行并行計算開發(fā)時，用戶只需集中注意力在自身要解決的并行計算任務(wù)上。k—means算法屬于聚類分析中的一種基本劃分方法，常采用誤差平方和準則函數(shù)作為聚類準則，該算法在處理數(shù)據(jù)集上相對可伸縮且高效率。但面對大規(guī)模數(shù)據(jù)集時，其在計算數(shù)據(jù)對象間的距離上遇到瓶頸。數(shù)據(jù)規(guī)模變大，則運算次數(shù)也隨之增大，運算的耗時加長。為了突破這個瓶頸，本文使用MapReduce計算模型，在Hadoop平臺上實現(xiàn)k—

3、means算法的并行化。為了進一步提高k—means聚類算法的效率，本文使用canopy算法對k—means算法進行優(yōu)化，并使用MapReduce計算模型，在Hadoop平臺上實現(xiàn)了canopy—k—means算法的并行化。最后在聚類結(jié)果的有效性、加速比以及可擴展性上對基于MapReduce的k—means并行算法和canopy—k—means并行算法進行了比較。實驗結(jié)果表明，這兩種并行算法能夠得到較好的聚類結(jié)果，在大數(shù)據(jù)集上具有較好的