1、核方法是新近發(fā)展起來(lái)的一種模式識(shí)別方法，它的理論基礎(chǔ)來(lái)自于統(tǒng)計(jì)學(xué)習(xí)理論。統(tǒng)計(jì)學(xué)在解決模式識(shí)別問(wèn)題中發(fā)揮了基礎(chǔ)的作用，但是傳統(tǒng)的統(tǒng)計(jì)學(xué)所取得的成果大多建立在漸近理論之上，即樣本觀測(cè)數(shù)量趨于無(wú)窮多的時(shí)候的統(tǒng)計(jì)性質(zhì)。這個(gè)條件在現(xiàn)實(shí)中是比較苛刻的，也是難以滿(mǎn)足的。雖然如此，傳統(tǒng)上仍然以樣本觀測(cè)數(shù)目無(wú)窮多為前提來(lái)推演各種算法，這不能不說(shuō)是一個(gè)缺陷，它也是造成神經(jīng)網(wǎng)絡(luò)等算法中的過(guò)學(xué)習(xí)問(wèn)題的原因之一。 相比之下，統(tǒng)計(jì)學(xué)習(xí)理論的出發(fā)點(diǎn)就是研究有

2、限樣本觀測(cè)情形下的模式識(shí)別問(wèn)題，經(jīng)過(guò)幾十年的發(fā)展，它已經(jīng)具備完備的理論基礎(chǔ)和嚴(yán)格的理論體系。統(tǒng)計(jì)學(xué)習(xí)理論已經(jīng)成為機(jī)器學(xué)習(xí)的一個(gè)重要的研究方向。 本文主要討論模式分類(lèi)與聚類(lèi)中的核方法，以及其它相關(guān)的理論和應(yīng)用的關(guān)鍵問(wèn)題。初步取得的研究成果和創(chuàng)新有： 第一，經(jīng)典的核函數(shù)作用在歐氏空間的向量上，作者從空間旋轉(zhuǎn)的角度，提出了把核函數(shù)的作用域擴(kuò)展到向量集合之上的方法，使之能夠勝任需要表示和處理更復(fù)雜的數(shù)據(jù)對(duì)象的機(jī)器學(xué)習(xí)任務(wù)。與類(lèi)似

3、的工作相比，它不需要預(yù)先假定數(shù)據(jù)服從某個(gè)概率分布，也不需要利用數(shù)值方法計(jì)算復(fù)雜的積分。在人臉識(shí)別的實(shí)驗(yàn)中，本方法比類(lèi)似的工作達(dá)到了更低的誤識(shí)率。 第二，Eigenface和Fisherface是兩種常用的人臉識(shí)別算法，它們本質(zhì)上是線性的，且著重發(fā)掘和利用映像空間的全局結(jié)構(gòu)。對(duì)于非線性結(jié)構(gòu)，它們無(wú)能為力。本文討論了局部空間結(jié)構(gòu)對(duì)人臉識(shí)別的意義，我們認(rèn)為局部空間結(jié)構(gòu)可以用線性或近似線性的方法學(xué)習(xí)和表示，并且可以通過(guò)對(duì)局部結(jié)構(gòu)的逐段線

4、性化，來(lái)學(xué)習(xí)和表示全局的非線性結(jié)構(gòu)。結(jié)合LLE算法，提出了利用逐段線性化學(xué)習(xí)和表示局部結(jié)構(gòu)的核方法。在人臉識(shí)別的實(shí)驗(yàn)中，它比Eigenface和Fisherface表現(xiàn)出更好的識(shí)別能力。 第三，LPP算法是一種數(shù)據(jù)降維和數(shù)據(jù)可視化方法，它是基于譜圖理論的。由于譜圖理論與微分流形具有密切的關(guān)系，且對(duì)于流形來(lái)說(shuō)，測(cè)地線距離比歐氏距離更能準(zhǔn)確揭示數(shù)據(jù)間的相似性，將LPP算法推廣到利用測(cè)地線距離進(jìn)行數(shù)據(jù)降維，并把這一方法擴(kuò)展到核函數(shù)特征

5、空間。在多個(gè)降維后的人臉識(shí)別實(shí)驗(yàn)中，它比LPP算法取得了更好的性能。 第四，盡管有眾多的核函數(shù)可供利用，但是如何為特定的機(jī)器學(xué)習(xí)任務(wù)選擇合適的核函數(shù)，是核方法的理論研究中一個(gè)具有挑戰(zhàn)性和開(kāi)放性問(wèn)題。從流形學(xué)習(xí)和保形映射的角度，利用核函數(shù)特征空間中的流形學(xué)習(xí)算法，提出了一種試探性解決方法。與作者類(lèi)似的工作是針對(duì)某一個(gè)核函數(shù)進(jìn)行調(diào)整和選擇來(lái)提高分類(lèi)性能，而這里則從整體的角度對(duì)核函數(shù)進(jìn)行選擇。 第五，隨著以科學(xué)研究為目的的合作