面向企業(yè)信息檢索的中文分詞系統(tǒng)的研究與實現(xiàn).pdf_第1頁
已閱讀1頁,還剩73頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權,請進行舉報或認領

文檔簡介

1、隨著企業(yè)信息的飛速增長,企業(yè)信息檢索逐漸成為信息檢索領域研究的熱點,中文分詞作為信息檢索的文本處理階段一個重要步驟,直接影響著檢索結(jié)果的準確性。學術界關于分詞技術的研究一直比較多,但是目前的研究大多是通用的分詞算法,專門針對企業(yè)檢索應用的分詞技術研究相對較少。因此,研究中文分詞技術在企業(yè)信息檢索中的應用有重要的理論和現(xiàn)實意義。
   本文研究了中文分詞的關鍵技術及難點,分析了分詞對大規(guī)模信息檢索的影響,在此基礎上結(jié)合企業(yè)信息檢索

2、中分詞技術的特點,設計了中文分詞系統(tǒng)(EIRCWS)。由于面向企業(yè)信息檢索的分詞算法對時間性能要求較高,本文設計了一種新的多字哈希結(jié)構(gòu)的詞典,改善了詞典查詢算法,提高了分詞效率。歧義消除和未登錄詞識別是分詞的兩大技術難點??紤]到企業(yè)信息檢索應用的特點,在歧義消除部分,本文重點解決交叉歧義問題,利用雙向匹配結(jié)果進行比較來檢測歧義,采用自定義規(guī)則來消除歧義。在未登錄詞識別部分,本文提出了一種新的未登錄詞識別方法,利用數(shù)量詞識別規(guī)則和虛字輔助

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論