1、在詞匯級(jí)的中文語(yǔ)言處理中，存在兩個(gè)基本的問(wèn)題：其一是漢語(yǔ)自動(dòng)分詞，其二是中文命名實(shí)體識(shí)別。通常的系統(tǒng)都把這兩個(gè)任務(wù)分開(kāi)處理，也就是不同任務(wù)使用不同的處理策略或兩個(gè)任務(wù)按時(shí)間順序先后被處理。我們認(rèn)為這兩個(gè)問(wèn)題從本質(zhì)上說(shuō)并不是獨(dú)立的，完全可以在一個(gè)系統(tǒng)里同時(shí)將其解決。在本文中，我們提出了一個(gè)統(tǒng)一的方法來(lái)實(shí)現(xiàn)漢語(yǔ)自動(dòng)分詞和中文命名實(shí)體識(shí)別。 統(tǒng)計(jì)語(yǔ)言模型已經(jīng)成功地應(yīng)用到很多的領(lǐng)域，例如語(yǔ)音識(shí)別領(lǐng)域、信息抽取領(lǐng)域和口語(yǔ)理解領(lǐng)域。特別是三

2、元語(yǔ)言模型在這些領(lǐng)域已被證實(shí)是相當(dāng)有效的。在本文中，我們提出了一種統(tǒng)一的統(tǒng)計(jì)語(yǔ)言模型方法用來(lái)漢語(yǔ)自動(dòng)分詞和中文命名實(shí)體識(shí)別，這種方法對(duì)基于詞的三元語(yǔ)言模型進(jìn)行了很好的擴(kuò)展。 本文旨在使用一個(gè)統(tǒng)一的方法解決兩個(gè)基本的自然語(yǔ)言處理問(wèn)題：其一是漢語(yǔ)自動(dòng)分詞，其二是中文命名實(shí)體識(shí)別。我們提出了一種基于類的語(yǔ)言模型的方法，這種方法對(duì)于類的定義主要集中在六類：中國(guó)人名和外國(guó)人名，中國(guó)地名和外國(guó)地名，中國(guó)組織機(jī)構(gòu)名和外國(guó)組織機(jī)構(gòu)名?；陬惖恼Z(yǔ)

3、言模型包括兩個(gè)獨(dú)立的子模型：(1)～系列的命名實(shí)體語(yǔ)言模型，每個(gè)命名實(shí)體語(yǔ)言模型估計(jì)在給定類的情況下字符串的生成概率；(2)語(yǔ)境模型，語(yǔ)境模型估計(jì)類序列的生成概率。因此，我們所提出的基于類的語(yǔ)言模型提供了一個(gè)統(tǒng)計(jì)的框架來(lái)統(tǒng)一處理漢語(yǔ)自動(dòng)分詞和中文命名實(shí)體識(shí)別。初步的結(jié)果表明這種方法在與其它的已經(jīng)發(fā)表的基于機(jī)器學(xué)習(xí)的方法比較時(shí)是具有競(jìng)爭(zhēng)力的。通過(guò)對(duì)北京大學(xué)2000年全年的標(biāo)注語(yǔ)料的訓(xùn)l練，漢語(yǔ)分詞的準(zhǔn)確率、召回率分別為96．0％和96．4