1、互聯(lián)網的飛速發(fā)展為BBS的普及提供了條件,目前BBS已經成為一種常用的交流工具,網民可通過BBS發(fā)起新話題或回復現(xiàn)有的話題來表達對某個事件的看法。從一定角度來看,BBS是現(xiàn)實社會的鏡像,因而可以采集BBS中的數(shù)據,為BBS輿情分析提供數(shù)據基礎。本文實現(xiàn)的熱點話題發(fā)現(xiàn)、話題監(jiān)控功能都是以BBS實時數(shù)據為基礎的。
　　 本文在分析國內外BBS熱點話題發(fā)現(xiàn)與監(jiān)控現(xiàn)狀和發(fā)展的基礎上,從系統(tǒng)的整體設計和實現(xiàn)過程入手,深入分析系統(tǒng)結構設計和

2、系統(tǒng)處理流程等方面的問題。本研究主要內容如下：⑴BBS數(shù)據采集:數(shù)據采集是整個熱點話題發(fā)現(xiàn)與監(jiān)控系統(tǒng)的基礎,本文利用傳統(tǒng)網絡爬蟲的運行原理,并結合論壇的特征,提出基于論壇版塊擴展的BBS數(shù)據采集策略,實現(xiàn)對BBS論壇的高效采集。⑵BBS數(shù)據預處理:采集所得的數(shù)據為非結構化數(shù)據,系統(tǒng)需要對其處理,使之轉化為結構化數(shù)據。預處理部分主要包括頁面信息抽取和文本向量表示兩個主要步驟。⑶BBS熱點話題發(fā)現(xiàn):話題識別是熱點話題發(fā)現(xiàn)的關鍵步驟,本文采用