基于語義簇構建隱馬爾可夫模型的文本分類方法研究.pdf_第1頁
已閱讀1頁,還剩81頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

1、文本分類作為文本挖掘領域中一個非常重要的研究方向,對文本數(shù)據(jù)的組織、管理和處理具有重要意義,在信息檢索、數(shù)字圖書館、搜索引擎、文本信息過濾等領域有著廣泛的應用。雖然文本分類的研究已經取得不小的進展,但目前為止仍有一些尚待解決的問題,例如,相關特征詞的信息度量,分類器的增量更新和在線更新,以及分類器性能隨類別數(shù)增加而降低等問題。本文圍繞上述問題展開研究,提出了一種基于語義簇構建隱馬爾可夫模型的文本自動分類方法,主要工作和創(chuàng)新點包括以下幾個

2、方面:
   (1)特征詞分類信息的度量
   在對比了幾種已有的特征詞分類信息的度量方法后,借鑒TF-IDF權重,對公式進行了調整,使之可以針對特征詞的不同類別度量分類信息的權重,然后利用不同分類信息權重將特征詞進行向量表示,實驗表明特征詞向量可以很好的表達特征詞的分類信息。
   (2)提出建立層次語義簇模型的方法
   利用層次聚類方法對特征詞向量進行聚類,所得層次語義簇簇內相似度大,簇內特征詞分類

3、信息相近,能夠表征這一類具有相似分類特性的特征詞。通過層次語義簇模型提出一種將文本序列化表示方法,文本序列表現(xiàn)出狀態(tài)轉移的特性。然后考察了聚類迭代截止閾值的確定問題和特征詞間相似度計算量過大的問題,并給出相應解決方案。實驗表明語義簇模型能夠達到降維和突出分類信息的目的。
   (3)文本分類器結構設計
   針對訓練集類別建立相互獨立的隱馬爾可夫模型,并據(jù)此提出了一種文本分類器結構,分類器中文本模型互不耦合,文本模型與分

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論