1、在當今的社會中，以互聯網為載體，產生了與電視、報紙、廣播等傳統媒體近乎對等的網絡媒體，這些新媒體經過不斷地發(fā)展，擁有大量的用戶基礎，它們也成為了社會輿論非常重要的陣地之一，典型的代表有網絡視頻網站、微博、微信等。這些網絡輿論陣地，表達的是群眾的意志，是無數網民自由表達觀點想法的平臺。通過這些平臺，網民隨時隨地發(fā)表身邊的新鮮事，或者發(fā)表對熱門微博話題的看法和觀點，而這些微博上的輿論信息能夠很好的反映人們真實的想法，能夠從中挖掘出許多有價值

2、的信息。因此對這些平臺上的內容進行研究，有著許多重要的意義，比如輿情分析、新媒體營銷、品牌維護等。
　　微博是基于關注關系形成的社交網絡，用戶可以發(fā)表少于140個字的文本，對別人的微博進行點贊、評論、轉發(fā)。隨著近幾年的發(fā)展，用戶數快速增長，每天都會生成海量的數據。隨著數據量的爆炸式增長，用戶越來越感覺到，從這些數據中獲取自己關心的有價值的信息越來越難。第一，微博內容五花八門，良莠不齊，充斥著許多垃圾信息;第二，對于特定事件，每個人

3、看問題的角度或者目的不同，摻雜的情感也不同，所以都會有一些不同的看法;第三，隨著事件討論熱度變化，或者一些新的情況出現，事件的輿論發(fā)生改變，如何準確獲取這些演變，也是一個值得研究的問題。對微博的分析研究，有助于我們發(fā)現其中蘊含的輿論觀點，感情傾向，為決策和預測提供可靠而寶貴的信息支撐。
　　本文從文本挖掘的基本概念開始，討論了相關的算法和基本技術，文本的表示方法，文本挖掘的相關理論。接著詳述了LDA（Latent Dirichle

4、t Allocation，潛在狄利克雷分布）主題模型，包括模型的數學基礎、評估、推斷。本文的主要研究工作有:
　　1.通過新詞發(fā)現、詞頻TF和逆文檔頻率IDF進行詞級特征選擇，能夠很好的挑選出良好的特征，剔除不良特征;
　　2.使用LDA主題模型對數據建模，然后進行主題聚類，分析主題的變化，提出了主題詞及其權重作為二元組的元素結合動態(tài)閾值進行新主題發(fā)現的方法;
　　3.提出了“一篇短文本有且僅有一個主要主題”假設。基于

5、這個假設，使用文本主題分布中的主要主題作為分類決定因素，對文本進行分類，提出了一種先主題聚類再文本分類的方法。
　　實驗中，面向有關巴黎恐怖襲擊微博數據和百度知道數據，采用本文提出的算法，對實驗結果進行分析，以驗證本文提出的方法。實驗結果分析表明，本文的特征選擇方法改進了LDA主題模型的建模效果;基于主題詞及其權重的新主題發(fā)現算法能夠很好的發(fā)現新主題，這些新主題對應著話題下的一些熱門子話題;基于主題聚類的文本分類方法，相比較傳統的