1、隨著科技的高速發(fā)展，網絡中出現(xiàn)了數據量爆發(fā)式增長的問題，為了有效地處理該問題，云計算相關技術有了長足的發(fā)展，并在相關領域發(fā)揮了重要作用。Twitter作為當今最重要的社交媒體之一，其中蘊含了大量可挖掘的熱點話題信息。針對Twitter的熱點話題探測系統(tǒng)普遍存在兩點不足:第一，該類系統(tǒng)通常僅能挖掘出基于單一詞語爆發(fā)式增長的熱點話題;第二，不能挖掘出熱點話題的相關性話題。針對以上兩點不足，本文設計了基于Spark on Yarn的Twitt

2、er熱點話題探測系統(tǒng)。
　　針對第一點不足，本文提出了一個基于Spark Streaming的實時熱點話題探測方法。該方法通過Flume數據接收組件獲取當前最新數據，能夠實現(xiàn)實時地挖掘爆發(fā)式增長的關鍵詞組合并能夠有效結合歷史數據對熱點話題進行判斷。同時，該方法中通過對頻繁集挖掘算法FP-Growth進行改進，利用所提出的SFP-Growth算法并行地從流式數據中探測出當前實時熱點話題，能夠提高FP-Growth算法的運行效率，同時

3、保證熱點話題判斷的準確性。針對第二點不足，本文利用Word2vec算法，給出了該算法的Spark實現(xiàn)，以挖掘當前實時熱點話題的相關性話題。該算法充分考慮了詞語間的相關性，能夠有效提高相關話題挖掘的準確性。
　　在上述研究內容的基礎上，設計并實現(xiàn)了一個完整的Twitter熱點話題挖掘系統(tǒng)，并在集群環(huán)境中部署運行。同時，開展了一系列的實驗對文所提出的關鍵算法進行了測試，實驗結果表明所提出的算法和系統(tǒng)能夠保證Twitter熱點話題探測的