1、隨著信息時代的飛速發(fā)展，信息量越來越多，如何從眾多的信息中找出自己想要的信息變得越來越重要，如荊楚資源庫中的武當山資源庫，資源總量達到幾百G，各種類型的文檔總數有幾千個，從眾多的文檔中找出特定的信息變得比較困難，信息檢索技術就是用來解決這個問題。全文檢索作為信息檢索的一種，正在扮演者越來越重要的角色，很多大型搜索引擎都采用了全文檢索技術。
　　中文分詞是中文信息處理的第一步，無論是自然語言處理還是全文檢索，都離不開中文信息的提取，

2、而信息提取必然涉及到分詞。中文由于字與字之間沒有空格作為詞分隔符且中文語義語境都比較復雜，導致中文分詞一直是一個難點，針對中文分詞人們提出了各種各樣的方法來分詞，如詞典分詞、統計分詞、理解分詞等。
　　本文分析了全文檢索技術的原理并討論了開源的全文檢索框架Lucene，接著針對全文檢索必須要使用文本切分提取信息，討論了中文分詞相關原理及技術，針對目前廣泛采用的詞典分詞和統計分詞做了詳細的討論，比較了各種分詞方法的優(yōu)點以及缺點，提出

3、了一種基于詞典與統計相結合的分詞方法。
　　本文所做的工作如下:
　　1.分析了全文檢索和中文分詞的研究背景和研究現狀，并對目前比較常用的全文檢索和中文分詞技術做了分析和描述;
　　2.分析了常用的分詞技術并在比較各種方法的優(yōu)劣的基礎上提出了一種基于詞典與統計相結合的分詞方法，該方法利用詞典分詞切分整體效果良好和統計分詞具有歧義識別的優(yōu)點，采用詞典分詞做粗分和HMM模型做歧義判斷，以達到提高分詞精度的目的。