1、第 1 章 緒論 緒論1.1 1.1 從生物神經網絡到人工神經網絡 從生物神經網絡到人工神經網絡 在你閱讀本書時,你就用到了一個復雜的生物神經網絡,大約有 1011 個相互連接的神經元幫助你進行閱讀、呼吸、思考、完成各種動作等,部分神經網絡的結構和功能是與生 具有的,比如支配呼吸、哭、吮吸等本能動作的功能;而大多數(shù)的功能需要通過后天的學習才能獲得。雖然人們還并不完全清楚生物神經網絡是如何進行工作的,但幻想構造一些“人工神經元”,進而將

2、它們以某種方式連接起來,可以模擬“人腦”的某些功能。這就是本書所要討論的“人工神經網絡”。1.2 1.2 人工神經網絡的發(fā)展史 人工神經網絡的發(fā)展史人工神經網絡(artificial neural network ,ANN)的發(fā)展經歷了大約半個世紀,從 20 世紀 40 年代初到 80 年代,神經網絡的研究經歷了低潮與高潮幾起幾落的發(fā)展過程。早在1943 年,心理學家 W.McCulloch 和數(shù)學家 W. Pitts 合作,從數(shù)理

3、邏輯的角度,提出了神經元和神經網絡最早的數(shù)學模型(McCulloch-Pitts , MP 模型),標志著神經網絡研究的開始。1958 年,F.Rosenblatt 首次引進了模擬人腦感知和學習能力的感知器(perceptron )概念,引起了人們的極大興趣。感知器由簡單的閾值性神經元構成,初步具備了諸如學習、并行處理、分布存儲等神經網絡的一些基本特征,從而確立了從系統(tǒng)角度進行人工神經網絡研究的基礎。1960 年,B.Widrow 和

4、M.Hoff 提出了主要適用于自適應系統(tǒng)的自適應線性元件(ADAptive LINear NEuron , ADALINE )網絡,采用了比感知器更復雜的學習程序。Widrow -Hoff 技術被稱為最小均方誤差(least mean square,LMS)學習規(guī)則。從此神經網絡的發(fā)展進人了第一個高潮期。1969 年,美國麻省理工學院著名的人工智能專家 M.Minsky 和 S.Papert 出版了頗有影響的 PercePtron 一書

5、,從數(shù)學上剖析了簡單神經網絡的功能和局限性,并且指出多層感 知器還不能找到有效的計算方法,由于 M . Minsky 在學術界的地位和影響,其悲觀的結論, 被大多數(shù)人不做進一步分析而接受;加之當時以邏輯推理為研究基礎的人工智能和數(shù)字計算機的輝煌成就,大大降低了人們對神經網絡研究的熱情,故使神經網絡的研究在其后的 若于年內處于低潮。1972 年 T.Kohonen 和 J.Anderson 不約而同地提出具有聯(lián)想記憶功能的新神經網

6、絡;1976 年,S.Grossberg 與 G.A .Carpenter 提出了自適應共振理論(adaptive resonance theory.ART ) ,并在以后的若干年內發(fā)展了 ART1 , ART2 , ART3 這 3 種神經網絡模型,從而 為神經網絡研究的發(fā)展奠定了理論基礎。進人 20 世紀 80 年代,特別是 80 年代末期,對神經網絡的研究從復興很快轉人了新的 熱潮。這主要是因為：一方面經過

7、十幾年迅速發(fā)展的以邏輯符號處理為主的人工智能理論和馮· 諾依曼(von Neumann )計算機在處理諸如視覺、聽覺、形象思維、聯(lián)想記憶等設備保險業(yè) 政策應用評估,產出最優(yōu)化制造業(yè) 制造業(yè)過程控制、產品設計與分析、過程與機器診斷、實時微 粒識別、可視化質量檢測系統(tǒng)、焊接質量分析、紙質預測、計算機芯片質量分析、化學產品設計分析、機器保養(yǎng)分析、工程 投標、經營與管理、化學處理系統(tǒng)的動態(tài)建模等醫(yī)藥 乳腺癌細胞分析,EFG 和 ECG

8、 分析,假休設計．移植時間最優(yōu)化,降低醫(yī)療費用支出,提高醫(yī)療質量石油天然氣勘探機器人技術行走路線控制、鏟車機器人、操縱控制器、視覺系統(tǒng)等語音 語音識別、語音壓縮、元音分類、文本一語音合成等有價證券 市場分析、自動債券評級、股票交易咨詢系統(tǒng)等電信業(yè) 圖像與數(shù)據(jù)壓縮、自動信息服務、實時語言翻譯、用戶付費處理系統(tǒng)等交通 卡車剎車診斷系統(tǒng)、車輛調度、行程安排系統(tǒng)等神經網絡比較善長的應用領域如下。(l)模式識別神經網絡經過訓練可有效地提取信號、語

9、音、圖像、雷達、聲納等感知模式的特征,并能解決現(xiàn)有啟發(fā)式模式識別系統(tǒng)不能很好解決的不變量探測、自適應、抽象或概括等問題。這方面的主要應用有：圖形、符號、手寫體及語音識別,雷達及聲納等目標識別,藥物構效關系等化學模式信息辨識,機器人視覺、聽覺,各種最近相鄰模式聚類及識別分類,遙感、沃學匡像分析,計算機視覺、計算機輸入裝置等。神經網絡可應用于模式識別 的各個環(huán)節(jié)：特征接取、聚類分析、邊緣檢測、信號增強、噪聲抑制、數(shù)據(jù)壓縮以及各種變換、分類判

10、決等。(2)人工智能專家系統(tǒng)是人工智能領域研究時間最長,應用最成功的技術,但人們在應用專家系統(tǒng)解決諸如語音識別、圖像處理和機器人控制等這類類似于人腦的形象思維的問題時,卻遇 到很大的困難。神經網絡的問世為人工智能開辟了一條嶄新的途徑,成為人工智能研究領 域中的后起之秀,它具有的自學習能力是傳統(tǒng)專家系統(tǒng)望塵莫及的。神經網絡技術能對不完整信息進行補全,根據(jù)已學會的知識和處理問題的經驗對復雜問題作出合理的判斷決 策,給出較滿意的解答,或對未來

11、過程作出有效的預測和估計,從而使之在人工智能領域獲得廣泛的應用。這方面的主要應用有：自然語言處理、市場分析、預測估值、系統(tǒng)診 斷、事故檢查、密碼破譯、語言翻譯、邏輯推理、知識表達、智能機器人、模糊評判 等。(3)控制工程神經網絡在諸如機器人運動控制、工業(yè)生產中的過程控制等復雜控制問題方面有獨到之處。較之基于傳統(tǒng)數(shù)字計算機的離散控制方式,神經網絡更適宜于組成快速實時自適 應控制系統(tǒng)。這方面的主要應用有：多變量自適應控制、變結構優(yōu)化控制、并