1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，社會進入了一個數(shù)據(jù)爆炸的時代。這些數(shù)據(jù)蘊含著大量的價值，如何從這些海量數(shù)據(jù)中挖掘出有價值的信息成為了當前的研究熱點。面對海量的數(shù)據(jù)，傳統(tǒng)的單機處理技術已經(jīng)無法處理，因而人們開始尋求新的解決辦法，云計算、大數(shù)據(jù)處理技術也就應運而生了。在眾多的大數(shù)據(jù)處理技術中，Spark是近幾年興起的一種基于內存計算的并行計算框架。它的優(yōu)勢在于十分擅長進行交互式和迭代式計算，因而受到廣泛的使用。
　　本文在Spark框架上對機器

2、學習、數(shù)據(jù)挖掘的方法作了并行化的設計。文中還涉及到詞語相似度的計算，對計算方法作了一些改進。最后將這些方法應用到微博廣告的投放中去，實現(xiàn)廣告的定向投放。
　　本文的研究工作可以分為以下四個方面：
　　1.基于Spark框架，設計了LDA主題模型的并行化方法。在LDA模型中，采用吉布斯采樣的方法對模型進行推導。通過對數(shù)據(jù)集的分割，將每個子數(shù)據(jù)集分配到集群中的各個節(jié)點進行并行運算，從而實現(xiàn)LDA模型的并行計算。
　　2.對

3、二分K均值算法進行改進并設計了基于Spark的并行算法。針對原有的算法在二分過程中，初始質心的選擇速度存在不足，提出了采用極大距離點作為初始質心的二分K均值算法。改進后的算法，大大降低了運算時間。另外，本文在Spark框架下，作了改進后的二分K均值算法的并行化設計。
　　3.對詞語相似度計算方法做了改進。本文的詞語相似度計算方法是基于HowNet的，通過對HowNet的研究，本文將對詞語相似度計算方法進行改進，實驗表明改進后的詞語