1、互聯(lián)網(wǎng)時代的快速發(fā)展,科技日新月異的進步,越來越多的信息充斥在網(wǎng)絡平臺上,網(wǎng)絡平臺上的數(shù)據(jù)表現(xiàn)出級數(shù)增長的勢頭,文本在眾多信息載體中無疑是互聯(lián)網(wǎng)上主要的載體形式,導致對文本的挖掘研究逐漸成為計算機領(lǐng)域的熱點。文本分詞、文本詞性標注和文本表示等相關(guān)的基礎研究都是為了最終的文本相似度計算,而文本的相似度計算則是眾多上層文本應用領(lǐng)域進行深度研究的基礎,文本相似度算法的研究作為聯(lián)系基礎研究和上層應用的紐帶,已經(jīng)在自然語言處理、文本分類、文本聚類

2、、問答系統(tǒng)、信息檢索、搜索引擎等眾多文本挖掘領(lǐng)域中嶄露頭角,得到了極其廣泛的應用。
　　文本相似度算法是指采用一定的策略來比較兩個文本之間的相似程度。目前文本相似度算法主要朝著兩個方向發(fā)展:其一為基于向量空間模型的余弦相似度算法;其二為基于語義詞典的語義相似度算法。這兩種做法在計算文本之間相似度時都具有一定的意義,但是都缺乏對文本自身特性(文本篇幅和文本語言特征等)的深入分析,余弦向量法相對適用于大篇幅文本,然而該相似度算法中各個

3、關(guān)鍵詞的關(guān)聯(lián)性卻被全盤忽略;語義詞典法受詞典容量的制約難以較為準確地反映文本之間的相似度。
　　不同文本應用領(lǐng)域中文本的特性存在著一定的差異(文本篇幅存在長、短之分,文本語言也存在中、英文之分),本文從實際的文本應用出發(fā),展開對不同篇幅、不同語言文本之間相似度計算的研究。針對大篇幅文本中關(guān)鍵詞數(shù)目豐富而關(guān)鍵詞存在多義性的特性,對文本進行語義單元劃分,語義單元中關(guān)鍵詞間語義相關(guān)性采用不同的策略(關(guān)鍵詞共現(xiàn)頻率投票因子和關(guān)鍵詞詞性權(quán)重

4、等)獲得;針對不同語言特性(中文和英文)的小篇幅文本,對文本以詞性為標識進行詞性向量的劃分,針對不同語言特性的文本,關(guān)鍵詞語義化權(quán)值的定義也采用不同策略。
　　本文主要研究長-長文本、短-短文本和短-長文本之間的相似度比較,并將長-長文本之間的相似度比較算法應用于文本分類領(lǐng)域,短-短文本相似度比較算法應用于FAQ系統(tǒng)領(lǐng)域,短-長文本相似度比較算法應用于搜索引擎領(lǐng)域,實驗表明,改進的語義相似度算法使得文本分類的準確率、句子相似度計算