反饋神經網(wǎng)絡_第1頁
已閱讀1頁,還剩24頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

1、第五章 反饋神經網(wǎng)絡,,5 反饋神經網(wǎng)絡,,Hopfield網(wǎng)絡分為離散型和連續(xù)型兩種網(wǎng)絡模型,分別記作DHNN (Discrete Hopfield Neural Network) 和CHNN (Continues Hopfield Neural Network),本章重點討論前一種類型。,根據(jù)神經網(wǎng)絡運行過程中的信息流向,可分為前饋式和反饋式兩種基本類型。前饋網(wǎng)絡的輸出僅由當前輸入和權矩陣決定,而與網(wǎng)絡先前的輸出狀態(tài)無關。,美國

2、加州理工學院物理學家J.J.Hopfield教授于1982年提出一種單層反饋神經網(wǎng)絡,后來人們將這種反饋網(wǎng)絡稱作Hopfield 網(wǎng)。,5.1.1 網(wǎng)絡的結構與工作方式,離散型反饋網(wǎng)絡的拓撲結構,,5.1離散型Hopfield神經網(wǎng)絡,(1)網(wǎng)絡的狀態(tài) DHNN網(wǎng)中的每個神經元都有相同的功能,其輸出稱為狀態(tài),用 xj 表示。,j=1,2,…,n,,所有神經元狀態(tài)的集合就構成反饋網(wǎng)絡的狀態(tài)X=[x1,x2,…,xn]T

3、,反饋網(wǎng)絡的輸入就是網(wǎng)絡的狀態(tài)初始值,表示為X(0)=[x1(0),x2(0),…,xn(0)]T,反饋網(wǎng)絡在外界輸入激發(fā)下,從初始狀態(tài)進入動態(tài)演變過程,變化規(guī)律為,,j=1,2,…,n (5.1),DHNN網(wǎng)的轉移函數(shù)常采用符號函數(shù),式中凈輸入為,,j=1,2,…,n (5.2),對于DHNN網(wǎng),一般有wii=0 ,wij=wji。,反饋網(wǎng)絡穩(wěn)定時每個神經元的狀態(tài)都不再改變,此時的穩(wěn)定狀態(tài)就是網(wǎng)絡的輸出,表示為,,

4、,(2)網(wǎng)絡的異步工作方式,,(5.3),(3)網(wǎng)絡的同步工作方式 網(wǎng)絡的同步工作方式是一種并行方式,所有神經元同時調整狀態(tài),即,,j=1,2,…,n (5.4),,網(wǎng)絡運行時每次只有一個神經元進行狀態(tài)的調整計算,其它神經元的狀態(tài)均保持不變,即,,5.1.2.1 網(wǎng)絡的穩(wěn)定性,DHNN網(wǎng)實質上是一個離散的非線性動力學系統(tǒng)。網(wǎng)絡從初態(tài)X(0)開始,若能經有限次遞歸后,其狀態(tài)不再發(fā)生變化,即X(t+1)=X(t),則

5、稱該網(wǎng)絡是穩(wěn)定的。,如果網(wǎng)絡是穩(wěn)定的,它可以從任一初態(tài)收斂到一個穩(wěn)態(tài):,5.1.2 網(wǎng)絡的穩(wěn)定性與吸引子,若網(wǎng)絡是不穩(wěn)定的,由于DHNN網(wǎng)每個節(jié)點的狀態(tài)只有1和-1兩種情況,網(wǎng)絡不可能出現(xiàn)無限發(fā)散的情況,而只可能出現(xiàn)限幅的自持振蕩,這種網(wǎng)絡稱為有限環(huán)網(wǎng)絡。,如果網(wǎng)絡狀態(tài)的軌跡在某個確定的范圍內變遷,但既不重復也不停止,狀態(tài)變化為無窮多個,軌跡也不發(fā)散到無窮遠,這種現(xiàn)象稱為渾沌。,,,網(wǎng)絡達到穩(wěn)定時的狀態(tài)X,稱為網(wǎng)絡的 吸引子。,如果把吸

6、引子視為問題的解,從初態(tài)朝吸引子演變的過程便是求解計算的過程。,若把需記憶的樣本信息存儲于網(wǎng)絡不同的吸引子,當輸入含有部分記憶信息的樣本時,網(wǎng)絡的演變過程便是從部分信息尋找全部信息,即聯(lián)想回憶的過程。,定義5.1 若網(wǎng)絡的狀態(tài)X 滿足X=f(WX-T) 則稱X為網(wǎng)絡的吸引子。,5.1.2.2 吸引子與能量函數(shù),,定理5.1 對于DHNN 網(wǎng),若按異步方式調整網(wǎng)絡狀態(tài),且連接權矩陣W 為對稱陣

7、,則對于任意初態(tài),網(wǎng)絡都最終收斂到一個吸引子。,定理5.1證明:,定義網(wǎng)絡的能量函數(shù)為:,,(5.5),令網(wǎng)絡的能量改變量為ΔE,狀態(tài)改變量為ΔX,有,,(5.6),,(5.7),5.1.2.2 吸引子與能量函數(shù),將式(5.4)、(5.6)代入(5.5),則網(wǎng)絡能量可進一步展開為,,,(5.8),將 代入上式 ,并考慮到W為對稱矩陣,有,,(5

8、.9),上式中可能出現(xiàn)的情況:,,情況a :xj(t)=-1, xj(t+1)=1, 由式(5.7)得Δxj(t)=2, 由式(5.1)知,netj(t)≧0,代入式(5.9),得ΔE(t)≦0。,情況b :xj(t)=1, xj(t+1)=-1, 所以Δxj(t)=-2, 由式(5.1)知,netj(t)<0,代入式(5.9),得ΔE(t)<0。,情況c :xj(t)=xj(t+1), 所以Δxj(t)=0, 代入式(5.

9、9),從而有ΔE(t)=0。,由此可知在任何情況下均有ΔE(t)≦0 。,由于網(wǎng)絡中各節(jié)點的狀態(tài)只能取1 或 –1 ,能量函數(shù)E(t) 作為網(wǎng)絡狀態(tài)的函數(shù)是有下界的,因此網(wǎng)絡能量函數(shù)最終將收斂于一個常數(shù),此時ΔE(t)=0 。綜上所述,當網(wǎng)絡工作方式和權矩陣均滿足定理5.1的條件時,網(wǎng)絡最終將收斂到一個吸引子。,綜上所述,當網(wǎng)絡工作方式和權矩陣均滿足定理5.1的條件時,網(wǎng)絡最終將收斂到一個吸引子。,定理5.2 對于DHNN網(wǎng),若按同

10、步方式調整狀態(tài),且連接權矩陣W為非負定對稱陣,則對于任意初態(tài),網(wǎng)絡都最終收斂到一個吸引子。,,證明:由式(5.8)得,前已證明,對于任何神經元 j ,有,因此上式第一項不大于0,只要W為非負定陣,第二項也不大于0,于是有⊿E(t)≦0 ,也就是說E(t)最終將收斂到一個常數(shù)值,對應的穩(wěn)定狀態(tài)是網(wǎng)絡的一個吸引子。,,,以上分析表明,在網(wǎng)絡從初態(tài)向穩(wěn)態(tài)演變的過程中,網(wǎng)絡的能量始終向減小的方向演變,當能量最終穩(wěn)定于一個常數(shù)時,該常數(shù)對應于網(wǎng)絡

11、能量的極小狀態(tài),稱該極小狀態(tài)為網(wǎng)絡的能量井,能量井對應于網(wǎng)絡的吸引子。,5.1.2.2 吸引子與能量函數(shù),性質1 :若X 是網(wǎng)絡的一個吸引子,且閾值T=0,在sgn(0)處,xj(t+1)=xj(t),則 -X 也一定是該網(wǎng)絡的吸引子。,證明:∵X 是吸引子,即X= f (WX),從而有 f [W(-X)]=f [-WX]=-f [WX]= -X  ∴-X 也是該網(wǎng)絡的吸引子。,,5.1.2.3 吸引子

12、的性質,性質2:若Xa是網(wǎng)絡的一個吸引子,則與Xa的海明距離dH(Xa,Xb)=1的Xb一定不是吸引子。,證明:不妨設x1a≠x1b,xja≠xjb,j=2,3,…,n。 ∵ w11=0,由吸引子定義,有,,由假設條件知,x1a≠x1b,故,,∴-X 也是該網(wǎng)絡的吸引子。,,能使網(wǎng)絡穩(wěn)定在同一吸引子的所有初態(tài)的集合,稱為該吸引子的吸引域。,定義5.2 若Xa是吸引子,對于異步方式,若存在一個調整次序,使網(wǎng)絡可

13、以從狀態(tài)X 演變到Xa ,則稱 X 弱吸引到Xa;若對于任意調整次序,網(wǎng)絡都可以從狀態(tài)X 演變到Xa,則稱X強吸引到Xa。,定義5.3 若對某些X,有X弱吸引到吸引子Xa,則稱這些X的集合為Xa的弱吸引域;若對某些X,有X強吸引到吸引子Xa,則稱這些X的集合為Xa的強吸引域。,,5.1.2.4 吸引子的吸引域,例5.1 設有3節(jié)點DHNN網(wǎng),用無向圖表示如下,權值與閾值均已標在圖中,試計算網(wǎng)絡演變過程的狀態(tài)。,x1

14、-0.1 -0.5 0.2 x2 0.0 0.0 x3 0.6,,,解:設各節(jié)點狀態(tài)取值為1 或0 ,3 節(jié)點DHNN 網(wǎng)絡應有23=8種狀態(tài)。不妨將X=(x1,x2,x3 )T

15、=(0,0,0)T 作為網(wǎng)絡初態(tài),按1→2→3的次序更新狀態(tài)。,第1步:更新x1 ,x1=sgn[(-0.5)?0+0.2?0-(-0.1)] =sgn(0.1)=1其它節(jié)點狀態(tài)不變,網(wǎng)絡狀態(tài)由(0,0,0)T變成(1,0,0)T。如果先更新 x2 或 x3,網(wǎng)絡狀態(tài)將仍為(0,0,0)T,因此初態(tài)保持不變的概率為2/3,而變?yōu)?1,0,0)T的概率為1/3。,x1 -0.1 -0.5

16、 0.2 x2 0.0 0.0 x3 0.6,第2步:此時網(wǎng)絡狀態(tài)為(1,0,0)T,更新x2后,得 x2=sgn[(-0.5)?1+0.6?0-0]=sgn(-0.5)=0其它

17、節(jié)點狀態(tài)不變,網(wǎng)絡狀態(tài)仍為(1,0,0)T。如果本步先更新 x1 或 x3,網(wǎng)絡相應狀態(tài)將為(1,0,0)T和(1,0,1)T,因此本狀態(tài)保持不變的概率為2/3,而變?yōu)?1,0,0)T 的概率為1/3。,第3步:此時網(wǎng)絡狀態(tài)為(1,0,0)T,更新x3得 x3=sgn[0.2?1+0.6?0-0]=sgn(0.2)=1,同理可算出其它狀態(tài)之間的演變歷程和狀態(tài)轉移概率。,,,DHNN網(wǎng)絡狀態(tài)演變示意圖,,為了

18、使所設計的權值滿足要求,權值矩陣應符合以下要求:,⑴為保證異步方式工作時網(wǎng)絡收斂,W應為對稱陣;⑵為保證同步方式工作時網(wǎng)絡收斂,W應為非負定對稱陣;⑶保證給定樣本是網(wǎng)絡的吸引子,并且要有一定的吸引域。,5.1.3.2外積和法,設給定P個模式樣本Xp,p=1,2,…,P,x?{-1,1}n,并設樣本兩兩正交,且n>P,則權值矩陣為記憶樣本的外積和,,,(5.16),,5.1.3 網(wǎng)絡的權值設計,若取wjj=0,上式應寫為,,(5

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論