不均衡數據分類方法的研究.pdf_第1頁
已閱讀1頁,還剩190頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

1、隨著科技的進步,特別是信息技術的快速發(fā)展,各行各業(yè)產生了大量各種形式的數據。然而可以從數據中獲取的信息卻是貧乏的。為了解決在海量數據中獲取有用信息的問題,數據挖掘技術應運而生。當前,數據挖掘的理論和方法被廣泛應用于商業(yè)、工業(yè)及科學研究等多個領域,但隨著對實際應用發(fā)展的深入研究,人們發(fā)現了一類很具有挑戰(zhàn)性的問題——不均衡數據分類,并獲得人們更多的關注。這種訓練樣本數量在類間分布不均衡的模式分類問題,對于基于總體分類精度為學習目標的傳統分類

2、器而言,這種不均衡勢必會導致分類器過多關注多數類樣本,從而使少數類樣本分類性能下降。
  本文聚焦于不均衡數據挖掘中的分類技術研究,在深入探查不均衡數據分類的各種策略基礎上,圍繞在數據層面上合理準確的采樣算法設計、在算法層面上適應不均衡數據的分類算法改進,對已有算法的關鍵參數優(yōu)化指導三個方面,對靜態(tài)、動態(tài)不均衡數據分類;二類及多類類別數據分類,以及醫(yī)學CAD中肺結節(jié)識別等問題展開研究。本文主要工作包括:
  (1)針對類間不

3、均衡數據分布中類內不均衡性、類重疊及噪音問題對傳統分類算法及采樣算法造成的影響,本文提出一種基于概率分布估計的混合采樣的數據處理算法。該算法依據數據概率分別對每個子類進行采樣來保證類內的均衡性,從而同時從全局和局部兩個角度改善數據的平衡性,讓采樣的數據更好地近似了真實的類空間分布情況,并對不均衡分布中類重疊和噪音問題加以針對性的處理。實驗證明該采樣算法有效改善不均衡數據的分布質量,使分類算法具有更高的分類精度。
  (2)針對生成

4、模型在數據失衡的情況下輸出的概率與類隸屬程度并不一致,導致分類效果很不理想的問題,本文提出一種基于決策準則優(yōu)化的集成分類算法。該算法基于后驗概率信息,在不均衡數據評價度量指導下對分類決策準則進行優(yōu)化;同時為了提高分類的泛化性,提出一種自適應隨機子空間組合分類算法,以增強基分類器之間的差異性,避免分類器學習和決策準則優(yōu)化的過擬合,并可自動獲得基分類器的最佳數量。通過大量UCI數據集的實驗驗證表明,與其它同類算法相比,該算法在精度和效率上都

5、具有更好的處理不均衡數據的優(yōu)勢。
  (3)針對現有的重采樣和代價敏感算法中參數缺乏有效的指導和優(yōu)化,本文提出一種性能導向優(yōu)化的不均衡數據元學習方法。通過粒子群算法,以不均衡數據分類評價指標作為目標函數,來優(yōu)化二類或多類數據的不均衡學習參數,并同時對特征進行選擇,從而達到最佳的數據分布或代價敏感分類模型。利用UCI數據集對算法進行驗證,并與領域內其他算法進行性能對比和分析,全面系統地證明算法的有效性。
  (4)針對具有概念

6、漂移的不均衡數據流分類問題,本文提出一種結合選擇性采樣的加權集成學習算法。通過選擇相似度高的歷史數據和合成邊界區(qū)域的新數據來有效增加少數類樣本信息,擴大少數類的決策域;同時為了適應動態(tài)數據中存的概念漂移,利用集成分類思想,設計了一種基于概率分布相關度的權重分配策略。實驗結果表明該算法有效地提高了少數類的識別率以及整體的分類性能,具有更好的處理不均衡數據流的優(yōu)勢。
  (5)針對肺結節(jié)CAD檢測中獲得的疑似肺結節(jié)數據具有真假陽性類別

7、不均衡,真陽性數據稀少且特征維數較高等具體問題,本文使用之前提出的三種算法,基于SVM基分類器進行改進和擴展,并在醫(yī)學領域中肺結節(jié)識別對數據預處理、代價敏感集成學習和元學習三種方法進行比較分析。實驗表明,在保證分類高敏感性的前提下,三種算法可以有效去除過多的假陽性,進而對三維肺結節(jié)進行準確的識別;而且元學習方法由于未改變數據分布且同時對特征進行了選擇,在疑似肺結節(jié)分類問題上相對于其他兩種方法獲得了更好的泛化能力。
  綜上,本文提

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論