1、本論文在現(xiàn)有搜索引擎核心技術(shù)進行研究的基礎上，設計實現(xiàn)了校內(nèi)搜索引擎系統(tǒng)暨一種基于搜索引擎采用主動掃描探測方法進行校園網(wǎng)有害信息監(jiān)控的校園網(wǎng)有害信息監(jiān)控系統(tǒng)。
　　通過調(diào)研分析各大搜索引擎的工作原理，研究網(wǎng)絡蜘蛛技術(shù)實現(xiàn)的功能、原理及搜索策略，基于JAVA語言及Oracle數(shù)據(jù)庫，采用網(wǎng)絡編程技術(shù)(分析HTTP1.1協(xié)議、Socket連接)、數(shù)據(jù)庫技術(shù)(JDBC連接、BOLB字段處理等)及多線程技術(shù)，設計并實現(xiàn)了網(wǎng)絡蜘蛛部分，可對

2、指定域的網(wǎng)站進行抓取和網(wǎng)頁分析，實現(xiàn)了對htm、html、asp、php、jsp等類型網(wǎng)頁的自動抓取，并將網(wǎng)頁數(shù)據(jù)存儲到本地數(shù)據(jù)庫中，為搜索引擎提供數(shù)據(jù)基礎。
　　研究中文分詞算法，通過比較分析，采用逆向最大匹配和二級哈希散列算法，實現(xiàn)中文分詞，對網(wǎng)頁數(shù)據(jù)庫中網(wǎng)頁進行分詞并建立索引庫。
　　基于J2EE架構(gòu)，采用數(shù)據(jù)庫編程技術(shù)、web編程技術(shù)，以網(wǎng)頁數(shù)據(jù)庫及索引庫為數(shù)據(jù)基礎，開發(fā)了基于web的搜索引擎系統(tǒng)。
　　以搜索

3、引擎系統(tǒng)為基礎，建立了包括非法web服務網(wǎng)站掃描、有害信息監(jiān)測、后臺智能啟動、有害詞庫管理、站點管理、重大事件管理、用戶管理、系統(tǒng)管理等模塊的有害信息監(jiān)測系統(tǒng)，可定時對所有站點或指定站點進行搜索，并將搜索到的有害信息發(fā)送到指定郵箱報告管理員或在管理平臺中列出所有當前搜索到的有害信息，起到有效的有害信息預警作用；同時實現(xiàn)對有害信息的管理，對有害信息進行分類(政治、色情、暴力等)；將重大違規(guī)事件存入數(shù)據(jù)庫；結(jié)合域名管理，找到有害信息來源網(wǎng)站