1、輿情分析通過對互聯(lián)網(wǎng)海量信息進行自動抓取、自動分類聚類等技術，形成簡報、圖表等分析結(jié)果，為客戶全面掌握群眾思想動態(tài)，做出正確輿論引導提供分析依據(jù)。隨著移動互聯(lián)網(wǎng)、電子商務、社交網(wǎng)絡等互聯(lián)網(wǎng)新興技術普及和應用,互聯(lián)網(wǎng)用戶呈現(xiàn)爆炸性增長。因此,高效海量數(shù)據(jù)處理架構對輿情分析具有重要研究意義。
　　本文結(jié)合新浪微博，基于大數(shù)據(jù)處理技術，探討了構建基于Spark的輿情分析架構的可行性。論文主要做了以下幾方面工作:1、設計整體架構，搭建Ha

2、doop分布式平臺對海量數(shù)據(jù)進行存儲和處理，通過分布式列式數(shù)據(jù)庫HBase和Lucene相結(jié)合，在滿足海量數(shù)據(jù)存儲的基礎上，提高了數(shù)據(jù)檢索和讀寫性能。2、在數(shù)據(jù)采集模塊，針對當今廣泛使用的模擬登陸和基于API采集方案的缺陷，設計一個高效穩(wěn)定的數(shù)據(jù)采集方案，具體包括通過內(nèi)存數(shù)據(jù)庫Redis來控制待爬隊列、更新隊列和已爬集合，在避免重復采集的同時能及時對數(shù)據(jù)進行更新;針對IP限制問題，提出流動性的代理池機制，通過池中代理不斷調(diào)度更新，使得池

3、中代理能針對不同網(wǎng)頁而發(fā)揮其最大功效，同時保證數(shù)據(jù)抓取的高效性和穩(wěn)定性，提高采集效率。3、為從本質(zhì)上突破Hadoop在文本聚類上的瓶頸，本文在文本聚類模塊中使用基于Spark的改進K-means算法實現(xiàn)。具體包括在預處理階段，針對微博特征項比較少的缺點，使用word2vec工具對特征項進行擴展;在K值選擇和簇心初始化問題上優(yōu)化K-means算法，并將Spark框架應用于優(yōu)化的K-means算法，對文本數(shù)據(jù)進行并行處理，使得架構在文本聚類

4、上更加高效快捷，從而提高整個架構的性能。4、針對架構提出一種基于資源信息增益的瓶頸檢測方法。該方法通過監(jiān)控集群的響應滿意度(Response Satisfaction，RS)來發(fā)現(xiàn)瓶頸的出現(xiàn)，然后通過資源使用率和響應滿意度樣本計算各類資源的信息增益，以確定具體的瓶頸資源。
　　輿情分析作為愈發(fā)強大的社會建設力量，網(wǎng)絡輿情已經(jīng)成為一股不容忽視的社會力量。故對網(wǎng)絡輿情的分析對社會發(fā)展具有重要意義其在應用和研究上都有著巨大的前景，故對輿