1、隨著互聯(lián)網(wǎng)規(guī)模的不斷發(fā)展擴大，網(wǎng)絡(luò)數(shù)據(jù)呈現(xiàn)出了爆發(fā)式的增長，改變了人們的生活，逐漸影響各行各業(yè)原有的生產(chǎn)經(jīng)營模式。網(wǎng)絡(luò)信息資源主要以網(wǎng)頁文本為載體，通過內(nèi)部鏈接指向，組成結(jié)構(gòu)復(fù)雜的信息網(wǎng)絡(luò)。通用搜索引擎面向全網(wǎng)絡(luò)進行網(wǎng)頁抓取，信息的急速增長使得其在時效性和覆蓋面上都很難得到保證。應(yīng)運而生的垂直搜索引擎以主題爬蟲為核心，專注于單一領(lǐng)域信息，靈活性強，很好的滿足了人們對于特定主題信息的查找需求。
　　本論文基于原有的主題爬蟲算法框架，

2、針對主題爬蟲運行過程中的爬行策略進行研究，采用支持向量機分類模型對網(wǎng)頁主題相關(guān)性和鏈接錨文本主題進行分類預(yù)測，共同決定待爬取鏈接的優(yōu)先級。同時改變鏈接隊列的形式，設(shè)置四段式分級鏈接隊列，以提高主題爬蟲的工作效率和主題收獲率。具體工作內(nèi)容主要包括：
　　1）對下載的搜狗實驗室網(wǎng)頁文本語料集進行數(shù)據(jù)預(yù)處理，如利用ICTCLAS進行中文分詞、使用卡方檢驗選取特征列表、通過計算TF-IDF值來設(shè)置特征權(quán)重。訓(xùn)練支持向量機分類模型，通過特征

3、維數(shù)選擇、參數(shù)尋優(yōu)得到表現(xiàn)較好的網(wǎng)頁文本主題分類器。
　　2）將訓(xùn)練得到的網(wǎng)頁文本主題分類器嵌入到通用爬蟲系統(tǒng)中，在提取網(wǎng)頁內(nèi)部鏈接的同時保存對應(yīng)的錨文本信息，抓取到對應(yīng)網(wǎng)頁后進行主題分類，然后對保存的錨文本進行標注，生成錨文本語料集?；阱^文本語料集進行分類模型訓(xùn)練，得到錨文本主題分類器。
　　3）結(jié)合訓(xùn)練得到的兩個分類器，嵌入到設(shè)計的主題爬蟲系統(tǒng)框架中，將URL隊列劃分為四段鏈式結(jié)構(gòu)。通過當(dāng)前網(wǎng)頁主題和鏈接錨文本主題相關(guān)

4、性一起決定鏈接的抓取優(yōu)先級，壓入不同的鏈中，從而使得主題爬蟲能夠較快的發(fā)現(xiàn)主題相關(guān)頁面，提高抓取效率。
　　4）以爬蟲的抓取速度和主題收獲率作為評價指標，對本文中設(shè)計的主題爬蟲系統(tǒng)進行測試對比，頁面抓取速度達到298/min，主題收獲率基本穩(wěn)定在80％以上，通過對比，論證系統(tǒng)的實際可行性及其相對優(yōu)勢。
　　最后利用設(shè)計實現(xiàn)的主題爬蟲以各大門戶網(wǎng)站為入口，進行頁面抓取，得到體育類網(wǎng)頁集，建立索引庫，實現(xiàn)信息檢索，完成對抓取數(shù)據(jù)