1、隨著網絡普及,電子商務的迅猛發(fā)展,出現了很多類型的電子商務網站。為了給用戶提供便捷的商品導購比價服務,讓用戶在短時間內找到高質量、低價格、售后完備的商品,購物導航網站的開發(fā)勢在必行。而Web網頁已成為購物導航網站一個豐富的數據源,因此,如何從Web中抽取出完整的商品記錄并進行合并去重已成為一個極具價值的問題。
　　本文通過研究已有的Web記錄抽取方法和系統(tǒng),從中選擇了使用DOM樹模型的Webharvest工具作為數據抽取工具;接著

2、,在分析了已有數據去重方法之后,在現有字符串距離度量的基礎上,加入了前期的數據處理階段,提出了基于距離度量的中文數據去重方法,并在實際數據中測試效果良好;最后,在數據去重方法的基礎上設計并實現了兩種將Web數據抽取和數據去重集成到一起的自動化方法,包括基于搜索引擎過濾的自動化方法和基于語義分詞標注的自動化方法。
　　通過對兩種自動化方法的測試,基于搜索引擎過濾的自動化方法結果滿足設計要求,實現了將Web數據抽取并去重,并存入本地數