1、SVM(SupptVectMachine)支持向量機(jī)相關(guān)理論介紹支持向量機(jī)相關(guān)理論介紹基于數(shù)據(jù)的機(jī)器學(xué)習(xí)是現(xiàn)代智能技術(shù)中的重要方面，研究從觀測(cè)數(shù)據(jù)（樣本）出發(fā)尋找規(guī)律，利用這些規(guī)律對(duì)未來(lái)數(shù)據(jù)或無(wú)法觀測(cè)的數(shù)據(jù)進(jìn)行預(yù)測(cè)。迄今為止，關(guān)于機(jī)器學(xué)習(xí)還沒(méi)有一種被共同接受的理論框架，關(guān)于其實(shí)現(xiàn)方法大致可以分為三種[3]：第一種是經(jīng)典的（參數(shù)）統(tǒng)計(jì)估計(jì)方法。包括模式識(shí)別、神經(jīng)網(wǎng)絡(luò)等在內(nèi)，現(xiàn)有機(jī)器學(xué)習(xí)方法共同的重要理論基礎(chǔ)之一是統(tǒng)計(jì)學(xué)。參數(shù)方法正是基于傳

2、統(tǒng)統(tǒng)計(jì)學(xué)的，在這種方法中，參數(shù)的相關(guān)形式是已知的，訓(xùn)練樣本用來(lái)估計(jì)參數(shù)的值。這種方法有很大的局限性。首先，它需要已知樣本分布形式，這需要花費(fèi)很大代價(jià)，還有，傳統(tǒng)統(tǒng)計(jì)學(xué)研究的是樣本數(shù)目趨于無(wú)窮大時(shí)的漸近理論，現(xiàn)有學(xué)習(xí)方法也多是基于此假設(shè)。但在實(shí)際問(wèn)題中，樣本數(shù)往往是有限的，因此一些理論上很優(yōu)秀的學(xué)習(xí)方法實(shí)際中表現(xiàn)卻可能不盡人意。第二種方法是經(jīng)驗(yàn)非線性方法，如人工神經(jīng)網(wǎng)絡(luò)（ANN）。這種方法利用已知樣本建立非線性模型，克服了傳統(tǒng)參數(shù)估計(jì)方法

3、的困難。但是，這種方法缺乏一種統(tǒng)一的數(shù)學(xué)理論。與傳統(tǒng)統(tǒng)計(jì)學(xué)相比，統(tǒng)計(jì)學(xué)習(xí)理論（StatisticalLearningThey或SLT）是一種專門研究小樣本情況下機(jī)器學(xué)習(xí)規(guī)律的理論。該理論針對(duì)小樣本統(tǒng)計(jì)問(wèn)題建立了一套新的理論體系，在這種體系下的統(tǒng)計(jì)推理規(guī)則不僅考慮了對(duì)漸近性能的要求，而且追求在現(xiàn)有有限信息的條件下得到最優(yōu)結(jié)果。V.Vapnik等人從六、七十年代開(kāi)始致力于此方面研究，到九十年代中期，隨著其理論的不斷發(fā)展和成熟，也由于神經(jīng)網(wǎng)絡(luò)

4、等學(xué)習(xí)方法在理論上缺乏實(shí)質(zhì)性進(jìn)展，統(tǒng)計(jì)學(xué)習(xí)理論開(kāi)始受到越來(lái)越廣泛的重視。統(tǒng)計(jì)學(xué)習(xí)理論的一個(gè)核心概念就是VC維(VCDimension)概念，它是描述函數(shù)集或?qū)W習(xí)機(jī)器的復(fù)雜性或者說(shuō)是學(xué)習(xí)能力(Capacityofthemachine)的一個(gè)重要指標(biāo)，在此概念基礎(chǔ)上發(fā)展出了一系列關(guān)于統(tǒng)計(jì)學(xué)習(xí)的一致性(Consistency)、收斂速度、推廣性能(GeneralizationPerfmance)等的重要結(jié)論。統(tǒng)計(jì)學(xué)習(xí)理論是建立在一套較堅(jiān)實(shí)的理

5、論基礎(chǔ)之上的，為解決有限樣本學(xué)習(xí)問(wèn)題提供了一個(gè)統(tǒng)一的框架。它能將很多現(xiàn)有方法納入其中，有望幫助解決許多原來(lái)難以解決的問(wèn)題（比如神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇問(wèn)題、局部極小點(diǎn)問(wèn)題等）；同時(shí)，這一理論基礎(chǔ)上發(fā)展了一種新的通用學(xué)習(xí)方法──支持向量機(jī)（SupptVectMachine或SVM），已初步表現(xiàn)出很多優(yōu)于已有方法的性能。一些學(xué)者認(rèn)為，SLT和SVM正在成為繼神經(jīng)網(wǎng)絡(luò)研究之后新的研究熱點(diǎn)，并將推動(dòng)機(jī)器學(xué)習(xí)理論和技術(shù)有重大的發(fā)展。支持向量機(jī)方法是建立在

6、統(tǒng)計(jì)學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理基礎(chǔ)上的，根據(jù)有限的樣本信息在模型的復(fù)雜性(即對(duì)特定訓(xùn)練樣本的學(xué)習(xí)精度，Accuracy)和學(xué)習(xí)能力(即無(wú)錯(cuò)誤地識(shí)別任意樣本的能力)之間尋求最佳折衷，以期獲得最好的推廣能力(GeneralizatinAbility)。支持向量機(jī)方法的幾個(gè)主要優(yōu)點(diǎn)1.SVM的優(yōu)勢(shì)（1）可以解決小樣本情況下的機(jī)器學(xué)習(xí)問(wèn)題（2）可以提高泛化性能（3）可以解決高維問(wèn)題（4）可以解決非線性問(wèn)題（5）可以避免神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選