1、在多Agent系統(tǒng)中,由于環(huán)境是動態(tài)變化的,其他Agent行為是未知的,要建立領(lǐng)域完備的先驗?zāi)Ｐ蛶缀醪豢赡?而且許多領(lǐng)域知識也是在Agent和其他Agent交互的過程中逐步獲得的,所以復(fù)雜環(huán)境下的Agent應(yīng)當(dāng)能夠根據(jù)以前的經(jīng)驗校正其行為,即具有學(xué)習(xí)或自適應(yīng)能力.學(xué)習(xí)技術(shù)在多Agent系統(tǒng)中的應(yīng)用顯得尤為重要.與此同時,單個Agent常常由于其有限的資源和能力,不能完成復(fù)雜的任務(wù),所以多個Agent之間的協(xié)作也非常必要.增加學(xué)習(xí)機制是實

2、現(xiàn)不同Agent之間協(xié)作的有效解決方法之一,一方面,為多Agent系統(tǒng)增加學(xué)習(xí)機制可以有效地實現(xiàn)Agent間的協(xié)作;另一方面,為Agent系統(tǒng)增加協(xié)作機制也能改善多Agent的學(xué)習(xí)性能. 本文首先回顧Agent及多Agent系統(tǒng)產(chǎn)生、研究基礎(chǔ)以及多Agent系統(tǒng)學(xué)習(xí)方法,分別從多Agent協(xié)作、強化學(xué)習(xí)、多Agent強化學(xué)習(xí)三個方面講述多Agent協(xié)作學(xué)習(xí)的基礎(chǔ)知識. 本文將協(xié)同進化與進化穩(wěn)定遺傳算法相結(jié)合,并應(yīng)用于多A

3、gent系統(tǒng)的行動選擇問題.在由兩個或更多群體組成的系統(tǒng)中,每個群體分別代表一個Agent,系統(tǒng)中每個物種在其群體內(nèi)進行進化,并通過反復(fù)使用進化穩(wěn)定遺傳算法以適應(yīng)環(huán)境,最終使系統(tǒng)的適應(yīng)度值達到最高.系統(tǒng)使用分散博弈,即多Agent系統(tǒng)的n個Agent分別決定要執(zhí)行哪k個任務(wù),文中研究n=k的情況,即完全分散博弈.只有當(dāng)系統(tǒng)中n個Agent所選擇的行動各不相同時,系統(tǒng)的適應(yīng)度函數(shù)值才會達到最高,因此在這種博弈中各Agent會最大化地分散選

4、擇行動.實驗仿真結(jié)果表明,此算法適用于多Agent系統(tǒng)的行動選擇問題,與基于傳統(tǒng)遺傳算法的多Agent系統(tǒng)相比,系統(tǒng)可以在較少的代數(shù)內(nèi)快速達到最高的適應(yīng)度,且最高適應(yīng)度也有明顯提高. 強化學(xué)習(xí)是多Agent系統(tǒng)學(xué)習(xí)常用的方法之一.在強化學(xué)習(xí)中策略的搜索與利用之間的平衡決定了Agent是搜索未執(zhí)行過的行為集還是繼續(xù)利用已經(jīng)在學(xué)習(xí)過程中得到的知識.現(xiàn)有的行動選擇策略只是利用了當(dāng)前學(xué)習(xí)過程中得到的策略知識,很少利用以前學(xué)習(xí)過程中得到的

5、策略.為了有效地利用已完成任務(wù)的策略集,提高Agent間協(xié)作完成任務(wù)的能力,我們在隨機博弈與強化學(xué)習(xí)框架下,提出新的行動選擇策略一策略重用方法,保存已經(jīng)學(xué)習(xí)過的任務(wù)所用的策略集,將多Agent系統(tǒng)以前完成任務(wù)的策略集用于新任務(wù)的完成,有效地提高了新任務(wù)完成的效率以及系統(tǒng)的收益值. 本文從多Agent協(xié)作學(xué)習(xí)方法出發(fā),從協(xié)同進化穩(wěn)定遺傳算法結(jié)合多Agent系統(tǒng)和強化學(xué)習(xí)中的搜索策略方法這兩方面有效提高了多Agent系統(tǒng)中Agent