1、爬蟲技術作為數據搜索技術中最關鍵的一項技術，也作為搜索引擎中最核心的模塊，為搜索引擎提供數據源。
　　為了獲取存在于互聯網上的大量招聘信息并集中反映到本地，設計一種網絡爬蟲系統(tǒng)來爬取這些信息，并對這些信息進行分類存儲。為了使爬蟲能在較短的時間里精準地，快速地，完整地獲取這些信息，爬蟲系統(tǒng)首先采用httpclient中的GET方式結合http協議來獲取網頁內容，并根據招聘網站上數據信息的分布結構，采取深度優(yōu)先搜索方式和廣度優(yōu)先搜索方

2、式相結合的方法來對網頁URL進行搜索，這樣爬蟲程序能最迅捷得到頁面鏈接；獲取URL后，利用HtmlParser中的filter方式對網頁進行解析與過濾，去除無關內容，保留需要的內容，進而將得到的信息存入Mongodb數據庫，以備以后使用。
　　爬蟲在抓取信息過程中，有可能爬取重復信息，為了不浪費cpu計算時間與存儲空間，運用基于Hash算法的URL去重方式來應對重復的URL，并且采取了JVM優(yōu)化，多線程技術，離線腳本，數據庫優(yōu)化等