1、正則化方法用近似解來逼近原不適定問題的解，是在工程技術領域中解決不適定問題的重要數(shù)學方法。在機器學習領域中，不同的正則化方法對同一機器學習方法來說具有不同的學習性能。如何選擇正則化方法是機器學習研究領域中的一個重要話題。傳統(tǒng)統(tǒng)計學習方法只最小化經(jīng)驗風險，往往會產(chǎn)生過學習問題。要提高分類器的分類性能，需要增加訓練樣本量和憑借專家經(jīng)驗來選擇分類函數(shù)模型。而統(tǒng)計機器學習方法提出了分類函數(shù)的VC維、泛化能力、泛化能力的界以及結(jié)構(gòu)風險等理論，并指

2、出，在訓練分類器時同時最小化經(jīng)驗風險和置信范圍可以降低分類函數(shù)的復雜度，解決過學習問題和小樣本問題，以及提高分類器的泛化能力。當遇到有些樣本的分布是線性不可分時，如果采用線性分類模型進行分類，其分類性能就會很差。此時可以利用非線性映射方法把原輸入樣本空間映射到更高維甚至是無限維的特征空間，在特征空間中可以實現(xiàn)線性分開這些樣本。在實際應用中，可以利用滿足Mercer定理的核函數(shù)內(nèi)積來代替這種非線性映射方法。針對只遵循ERM準則的機器學習方

3、法會產(chǎn)生過學習的問題，現(xiàn)有支持向量機在經(jīng)驗風險一定的情況下，通過引用Lp(p=2，p=1)正則化來降低分類函數(shù)的VC維，實現(xiàn)SRM準則，能夠解決過學習問題和小樣本問題，提高了分類器的泛化能力。本文的主要工作有:
　　 (1)對正問題、反問題、不適定問題、Moore-Penrose廣義解、廣義解的不穩(wěn)定性、正則化原理、正則化方法、統(tǒng)計機器學習原理以及統(tǒng)計學習理論中的VC維、泛化能力、泛化能力的界、SRM準則等與支持向量機相關的基礎

4、性理論作了詳細的探討。
　　 (2)在有監(jiān)督學習框架下和半監(jiān)督學習框架下，探討了Lp(p=2，p=1)正則化線性支持向量機方法和核支持向量機方法，以及流形正則化支持向量機，并利用這些方法對合成的兩圓數(shù)據(jù)集和現(xiàn)實的四種兩類數(shù)據(jù)集進行了分類性能的比較實驗，驗證了核支持向量機把非線性可分樣本映射到高維特征空間中后，能夠?qū)崿F(xiàn)線性分開這些樣本，以及引入訓練樣本的內(nèi)蘊幾何信息，可以提高支持向量機的分類性能，同時得出各數(shù)據(jù)集的分布特點以及各算

5、法的分類性能特點和ROC曲線特征。
　　 (3)結(jié)合稀疏思想及現(xiàn)有平滑函數(shù)的優(yōu)點，采用高斯平滑函數(shù)集來逼近Lp(p=0)正則化項，提出了平滑稀疏正則化支持向量機，詳細探討了其優(yōu)化步驟。平滑稀疏正則化支持向量機可以訓練出模型更簡單的分類器，并具有樣本特征選擇的特性。并與現(xiàn)有支持向量機算法在5個兩類和多類數(shù)據(jù)集上進行了實驗比較，得出了平滑稀疏正則化支持向量機方法的有效性。同時發(fā)現(xiàn)，對于多類數(shù)據(jù)集來說，內(nèi)在分類器模型具有一定的復雜性，