1、　　詞法分析是自然語(yǔ)言處理領(lǐng)域中最基礎(chǔ)的處理步驟，尤其對(duì)漢語(yǔ)這種沒(méi)有分割符的語(yǔ)言來(lái)說(shuō)更是如此。本文研究的漢語(yǔ)詞法分析主要包括自動(dòng)分詞、詞性標(biāo)注和詞義相似度計(jì)算三個(gè)方面。詞法分析是句法分析的先期處理步驟，其錯(cuò)誤會(huì)沿處理鏈條擴(kuò)散，并最終影響信息檢索、機(jī)器翻譯等面向最終用戶(hù)的應(yīng)用系統(tǒng)的質(zhì)量；同時(shí)，詞法分析所用的技術(shù)也可以直接應(yīng)用到音字轉(zhuǎn)換和語(yǔ)音識(shí)別等應(yīng)用系統(tǒng)中，所以對(duì)它的研究具有極其重要的意義。　　本文在統(tǒng)計(jì)語(yǔ)言模型方面主要探討了N-gra

2、m模型、最大熵模型、支持向量機(jī)模型和矢量空間模型。重點(diǎn)研究了三個(gè)方面的內(nèi)容：傳統(tǒng)N-gram模型的改進(jìn)方法；利用觸發(fā)對(duì)提高矢量空間模型的質(zhì)量；在最大熵模型中加入轉(zhuǎn)換觸發(fā)對(duì)特征。最后利用以上統(tǒng)計(jì)語(yǔ)言模型的研究成果對(duì)漢語(yǔ)詞法分析進(jìn)行了深入研究。主要內(nèi)容包括四個(gè)方面：　　第一、從兩個(gè)方面改進(jìn)了傳統(tǒng)N-gram模型。　　第二、分詞是漢語(yǔ)詞法分析中最基本的步驟，所有的漢語(yǔ)自然語(yǔ)言處理都要基于分詞的結(jié)果?！　〉谌⒃~性標(biāo)注可以看成是噪聲信道的

3、解碼問(wèn)題。傳統(tǒng)的HMM模型有兩個(gè)缺點(diǎn)：首先它用聯(lián)合概率解決一個(gè)條件概率問(wèn)題，而且它不能包含長(zhǎng)距離詞法特征。針對(duì)以上問(wèn)題，本文分別利用支持向量機(jī)模型和最大熵模型對(duì)復(fù)雜兼類(lèi)詞標(biāo)注進(jìn)行了研究，試驗(yàn)結(jié)果證明兩種模型都可以有效降低兼類(lèi)詞標(biāo)注的錯(cuò)誤。在此基礎(chǔ)上，利用最大熵模型對(duì)基于句子的詞性標(biāo)注進(jìn)行了研究，重點(diǎn)研究了長(zhǎng)距離聚類(lèi)轉(zhuǎn)換觸發(fā)對(duì)“wA→wB/tB”特征的加入以及用于系列分類(lèi)的BeamSearch搜索算法。最后，利用與詞性標(biāo)注相同的技術(shù)對(duì)音字