1、當前的大多數中文分詞系統都是基于詞典的,但是其不能正確的切分文本中新詞(字典中不包括)。這些基于詞典的分詞系統在處理包含較多新詞的文本時,效果較差。
　　當前新詞識別算法包括有監(jiān)督和無監(jiān)督兩種,但是有監(jiān)督需要一個詳細標注的語料庫,往往獲得這樣的一個語料庫是相當困難的。不同的是無監(jiān)督所需要的先驗知識就要少得多,并且能方便的使用相應的度量準則衡量一個候選詞成為一個新詞的可能性。然而當前無監(jiān)督算法收詞頻的影響較大,對稀疏的文本數據集來說

2、處理效果是不能令人滿意的。
　　本文主要研究基于統計的無監(jiān)督中文新詞發(fā)現算法和組合詞識別算法。并相應的提出了:重疊子字符串新詞度量準則和改進的重疊子字符串組合詞度量準則。重疊子字符串新詞度量準則從候選詞的內部和候選詞的外部同時考慮一個候選詞成為新詞的可能性,并使用相對詞頻,所以能較好的處理相對稀疏的文本數據。并與另外三個現存的新詞發(fā)現算法做了實驗對比,實驗結果表明我們的新詞發(fā)現算法,比這三個對比算法有較大改進。改進的重疊子字符串組