1、漢語(yǔ)分詞作為中文自然語(yǔ)言處理研究的基礎(chǔ)性工作，在中文信息處理中扮演著重要的角色。隨著中文信息處理的發(fā)展，特定領(lǐng)域漢語(yǔ)分詞的需求增大。但是由于特定領(lǐng)域分詞標(biāo)注語(yǔ)料匱乏，使得現(xiàn)有的基于通用領(lǐng)域的分詞系統(tǒng)對(duì)特定領(lǐng)域文本進(jìn)行分詞時(shí)會(huì)造成分詞精度下降，原因在于:(1)特定領(lǐng)域?qū)I(yè)術(shù)語(yǔ)切分存在多樣性，缺少分詞標(biāo)準(zhǔn)來(lái)規(guī)范，從而影響分詞精度;(2)特定領(lǐng)域與通用領(lǐng)域詞匯結(jié)合時(shí)所產(chǎn)生的“跨界”問(wèn)題，也就是交集型歧義切分問(wèn)題?，F(xiàn)有分詞系統(tǒng)并不能對(duì)此問(wèn)題提供

2、良好的解決方案，從而造成分詞精度下降。
　　針對(duì)以上兩個(gè)問(wèn)題，本文研究特定領(lǐng)域分詞標(biāo)準(zhǔn)制定的方法，規(guī)范特定領(lǐng)域?qū)I(yè)術(shù)語(yǔ)切分方式，標(biāo)注特定領(lǐng)域語(yǔ)料，提高特定領(lǐng)域分詞精度;提出融合少量標(biāo)注數(shù)據(jù)的統(tǒng)計(jì)方法來(lái)解決交集性歧義切分問(wèn)題，從而提高分詞精度。本文主要包括以下兩方面工作:
　　(1)針對(duì)特定領(lǐng)域分詞標(biāo)準(zhǔn)缺乏的問(wèn)題，本文提出基于統(tǒng)計(jì)特征的決策樹分類方法，利用已有的新聞?lì)I(lǐng)域分詞標(biāo)準(zhǔn)中的詞語(yǔ)統(tǒng)計(jì)特征，包括AV值、邊界熵和字符串頻度值

3、特征，并結(jié)合特定領(lǐng)域詞語(yǔ)特征混合訓(xùn)練分類模型，用于專業(yè)術(shù)語(yǔ)判定，制定特定領(lǐng)域漢語(yǔ)分詞標(biāo)準(zhǔn)。在制定的分詞標(biāo)準(zhǔn)指導(dǎo)下，本文對(duì)科技領(lǐng)域語(yǔ)料自動(dòng)標(biāo)注，獲得大規(guī)模標(biāo)注語(yǔ)料。實(shí)驗(yàn)結(jié)果顯示，邊界熵、AV值和字符串頻度值統(tǒng)計(jì)特征在決策樹分類模型中獲得最好結(jié)果，在此分詞標(biāo)注指導(dǎo)下構(gòu)建的自動(dòng)標(biāo)注系統(tǒng)獲得分詞精度的提升。
　　(2)特定領(lǐng)域文本含有大量領(lǐng)域特有專業(yè)術(shù)語(yǔ)，使得術(shù)語(yǔ)與通用詞語(yǔ)相鄰時(shí)位于各自邊界的漢字容易成詞，為分詞邊界切分引入更多不確定性，

4、導(dǎo)致分詞精度下降，被稱為交集型歧義切分問(wèn)題。針對(duì)交集型歧義切分問(wèn)題，本文提出基于主動(dòng)學(xué)習(xí)的局部數(shù)據(jù)標(biāo)注方法，實(shí)現(xiàn)模型的領(lǐng)域自適應(yīng)。其基本思想是利用原模型對(duì)特定領(lǐng)域文本分詞，選取通用詞語(yǔ)標(biāo)注錯(cuò)誤的語(yǔ)句，只對(duì)句子中通用詞語(yǔ)錯(cuò)誤的局部字串進(jìn)行標(biāo)注，然后將標(biāo)注數(shù)據(jù)并入訓(xùn)練語(yǔ)料重新訓(xùn)練模型，實(shí)現(xiàn)原模型向特定領(lǐng)域的適應(yīng)。本文采用基于CRFs的分詞模型。實(shí)驗(yàn)結(jié)果表明，本文所提方法通過(guò)少量的人工標(biāo)注數(shù)據(jù)有效的解決了交集型歧義切分問(wèn)題。
　　綜上所