1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展,Web網(wǎng)上的信息資源正在以多元化的形式迅速增長,人們越來越不滿足于大型通用型搜索引擎所提供的服務(wù),開始關(guān)注各種各樣的主題式搜索引擎。主題式搜索引擎主要針對某一特定領(lǐng)域、某一特定主題或某一特定人群,提供分類更細(xì)致精確、數(shù)據(jù)更全面深入、更新更及時的因特網(wǎng)搜索服務(wù)。主題爬蟲是主題式搜索引擎的重要組成部分,主題式搜索引擎中的網(wǎng)頁信息獲取要靠主題爬蟲來完成,因此主題爬蟲以何種搜索策略訪問Web,才能得到較高的搜索效率,如何提

2、高主題爬蟲的爬行準(zhǔn)確率等問題是近年來主題搜索引擎研究中的熱點(diǎn)問題。
　　本文首先分析了主題爬蟲的基本結(jié)構(gòu)及工作原理,然后在深入研究人工智能啟發(fā)式模擬退火搜索算法基礎(chǔ)之上,提出了一個將改進(jìn)后的非常快速模擬退火搜索算法作為搜索策略的主題爬蟲模型,該模型在主題相似度判斷時采用經(jīng)典的基于向量空間分類方法。最后本文對該模型進(jìn)行了詳細(xì)的實(shí)現(xiàn)并對其性能進(jìn)行了測試。本文的主要研究工作如下:
　　1、設(shè)計(jì)了一個結(jié)構(gòu)合理、可擴(kuò)展配置、分布式主題

3、爬蟲模型。
　　2、為提高主題爬蟲的運(yùn)行速度設(shè)計(jì)了多線程的網(wǎng)頁信息提取的方法。
　　3、確定主題爬蟲智能的搜索策略。詳細(xì)研究和闡述了傳統(tǒng)的模擬退火算法,分析了傳統(tǒng)模擬退火算法作為主題爬蟲搜索策略的缺點(diǎn),詳細(xì)分析了改進(jìn)的模擬退火算法—非?？焖偻嘶鹚惴ǖ膬?yōu)點(diǎn),提出將非?？焖倌M退火算法作為搜索策略應(yīng)用到主題爬蟲之中,從而提高它的性能。
　　4、對傳統(tǒng)的自動生成主題種子頁面的方法進(jìn)行修改,提出一種新的較為靈活方便的自動生成主