1、微博作為近年來急速流行起來的網(wǎng)絡應用，正在快速深入每個人的日常生活中。由于其不僅可以通過電腦而且可以通過手機等移動便攜設備進行內容發(fā)布，所以其具有諸如實時性，碎片性等特點。同時微博博主可以有關注和被關注的關系，微博內容也有評論轉發(fā)等形式，故也體現(xiàn)出其互動性和靈活性。本文基于微博以上特點做了數(shù)據(jù)提取和話題檢測兩方面工作。
　　傳統(tǒng)的網(wǎng)絡文本數(shù)據(jù)提取一般是利用圖遍歷的思想通過網(wǎng)絡爬蟲搜集信息，本文在此基礎上研究了使用微博開放API接口

2、進行數(shù)據(jù)獲取的方法。首先著重分析了OAuth2.0認證原理，然后研究了獲取認證的流程，此認證的獲取是利用開放接口的前提條件，目的是讓第三方應用可以接入服務方的數(shù)據(jù)且不泄露個人信息，最后利用新浪微博的開放接口實現(xiàn)數(shù)據(jù)的提取并將獲取的數(shù)據(jù)以更高效的JSON格式保存，實驗證明此方法相比傳統(tǒng)方法處理效率更高，在同等數(shù)據(jù)量前提下文件大小更小。
　　話題檢測在數(shù)據(jù)挖掘領域已經(jīng)得到了深入的研究，其可以從分散的多個文本文件中提取出少量的不同主題，

3、從而可以更清晰明了地展現(xiàn)數(shù)據(jù)的整體概況。在進行話題檢測時傳統(tǒng)的基于空間向量模型建模方法容易造成語義丟失的問題，于是本文改進現(xiàn)有的特征權重和相似度計算方法，采用與語義相結合的方式，同時針對微博內容實時性的特點，在前期建模階段添加時間參數(shù)以保證話題檢測的正確性，傳統(tǒng)的檢測方法主要是針對無結構文本的分析，本文中考慮到微博轉發(fā)功能的結構化特性，最后選取改進的單遍聚類Single-Pass方法實現(xiàn)話題檢測。通過比較實驗證明本文方法在話題檢測標準的