svm通俗講解_第1頁
已閱讀1頁,還剩13頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領

文檔簡介

1、SVM(SupptVectMachine)支持向量機相關理論介紹支持向量機相關理論介紹基于數(shù)據(jù)的機器學習是現(xiàn)代智能技術中的重要方面,研究從觀測數(shù)據(jù)(樣本)出發(fā)尋找規(guī)律,利用這些規(guī)律對未來數(shù)據(jù)或無法觀測的數(shù)據(jù)進行預測。迄今為止,關于機器學習還沒有一種被共同接受的理論框架,關于其實現(xiàn)方法大致可以分為三種[3]:第一種是經(jīng)典的(參數(shù))統(tǒng)計估計方法。包括模式識別、神經(jīng)網(wǎng)絡等在內(nèi),現(xiàn)有機器學習方法共同的重要理論基礎之一是統(tǒng)計學。參數(shù)方法正是基于傳

2、統(tǒng)統(tǒng)計學的,在這種方法中,參數(shù)的相關形式是已知的,訓練樣本用來估計參數(shù)的值。這種方法有很大的局限性。首先,它需要已知樣本分布形式,這需要花費很大代價,還有,傳統(tǒng)統(tǒng)計學研究的是樣本數(shù)目趨于無窮大時的漸近理論,現(xiàn)有學習方法也多是基于此假設。但在實際問題中,樣本數(shù)往往是有限的,因此一些理論上很優(yōu)秀的學習方法實際中表現(xiàn)卻可能不盡人意。第二種方法是經(jīng)驗非線性方法,如人工神經(jīng)網(wǎng)絡(ANN)。這種方法利用已知樣本建立非線性模型,克服了傳統(tǒng)參數(shù)估計方法

3、的困難。但是,這種方法缺乏一種統(tǒng)一的數(shù)學理論。與傳統(tǒng)統(tǒng)計學相比,統(tǒng)計學習理論(StatisticalLearningThey或SLT)是一種專門研究小樣本情況下機器學習規(guī)律的理論。該理論針對小樣本統(tǒng)計問題建立了一套新的理論體系,在這種體系下的統(tǒng)計推理規(guī)則不僅考慮了對漸近性能的要求,而且追求在現(xiàn)有有限信息的條件下得到最優(yōu)結(jié)果。V.Vapnik等人從六、七十年代開始致力于此方面研究,到九十年代中期,隨著其理論的不斷發(fā)展和成熟,也由于神經(jīng)網(wǎng)絡

4、等學習方法在理論上缺乏實質(zhì)性進展,統(tǒng)計學習理論開始受到越來越廣泛的重視。統(tǒng)計學習理論的一個核心概念就是VC維(VCDimension)概念,它是描述函數(shù)集或?qū)W習機器的復雜性或者說是學習能力(Capacityofthemachine)的一個重要指標,在此概念基礎上發(fā)展出了一系列關于統(tǒng)計學習的一致性(Consistency)、收斂速度、推廣性能(GeneralizationPerfmance)等的重要結(jié)論。統(tǒng)計學習理論是建立在一套較堅實的理

5、論基礎之上的,為解決有限樣本學習問題提供了一個統(tǒng)一的框架。它能將很多現(xiàn)有方法納入其中,有望幫助解決許多原來難以解決的問題(比如神經(jīng)網(wǎng)絡結(jié)構(gòu)選擇問題、局部極小點問題等);同時,這一理論基礎上發(fā)展了一種新的通用學習方法──支持向量機(SupptVectMachine或SVM),已初步表現(xiàn)出很多優(yōu)于已有方法的性能。一些學者認為,SLT和SVM正在成為繼神經(jīng)網(wǎng)絡研究之后新的研究熱點,并將推動機器學習理論和技術有重大的發(fā)展。支持向量機方法是建立在

6、統(tǒng)計學習理論的VC維理論和結(jié)構(gòu)風險最小原理基礎上的,根據(jù)有限的樣本信息在模型的復雜性(即對特定訓練樣本的學習精度,Accuracy)和學習能力(即無錯誤地識別任意樣本的能力)之間尋求最佳折衷,以期獲得最好的推廣能力(GeneralizatinAbility)。支持向量機方法的幾個主要優(yōu)點1.SVM的優(yōu)勢(1)可以解決小樣本情況下的機器學習問題(2)可以提高泛化性能(3)可以解決高維問題(4)可以解決非線性問題(5)可以避免神經(jīng)網(wǎng)絡結(jié)構(gòu)選

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論