1、強(qiáng)化學(xué)習(xí)因具有自學(xué)習(xí)和在線學(xué)習(xí)的良好特性，已經(jīng)成為機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)重要分支。然而，強(qiáng)化學(xué)習(xí)本身存在“維度災(zāi)難”問(wèn)題，所需的存儲(chǔ)空間和計(jì)算量很大。因此，將強(qiáng)化學(xué)習(xí)應(yīng)用到多智能體系統(tǒng)時(shí)，隨著智能體個(gè)數(shù)的增加，動(dòng)作空間和狀態(tài)空間呈指數(shù)級(jí)增長(zhǎng)，會(huì)加劇“維度災(zāi)難”問(wèn)題，學(xué)習(xí)效率非常低下，導(dǎo)致多智能體系統(tǒng)難以及時(shí)甚至無(wú)法完成學(xué)習(xí)任務(wù)。因此，如果能有效緩解“維度災(zāi)難”問(wèn)題，提出一種適用于未知大規(guī)模復(fù)雜環(huán)境下的高效率強(qiáng)化學(xué)習(xí)方法，則可以為提高多智能體

2、系統(tǒng)在實(shí)際應(yīng)用中的自適應(yīng)性提供有效的解決方案，對(duì)促進(jìn)機(jī)器學(xué)習(xí)領(lǐng)域理論和技術(shù)的發(fā)展具有重要意義。
　　 為提高復(fù)雜環(huán)境下多智能體策略學(xué)習(xí)的效率，論文研究將分層強(qiáng)化學(xué)習(xí)技術(shù)和基于模型的強(qiáng)化學(xué)習(xí)技術(shù)相結(jié)合的方法，針對(duì)分層條件下智能體策略學(xué)習(xí)、策略空間動(dòng)態(tài)分層，以及多智能體系統(tǒng)動(dòng)態(tài)分層與策略學(xué)習(xí)相結(jié)合這三個(gè)多智能體系統(tǒng)動(dòng)態(tài)分層強(qiáng)化學(xué)習(xí)算法研究的關(guān)鍵問(wèn)題，闡述了結(jié)合Bayesian學(xué)習(xí)和MAXQ學(xué)習(xí)方法的靜態(tài)分層強(qiáng)化學(xué)習(xí)算法(Bayesi

3、an-MAXQ);進(jìn)而研究狀態(tài)抽象技術(shù)，實(shí)現(xiàn)基于概率模型的動(dòng)態(tài)分層強(qiáng)化學(xué)習(xí)算法(DHRL-Model)，通過(guò)分析合作式多智能體系統(tǒng)策略學(xué)習(xí)的特征，對(duì)DHRL-Model進(jìn)行擴(kuò)展，將動(dòng)作抽象和狀態(tài)抽象相結(jié)合，實(shí)現(xiàn)多智能體系統(tǒng)的基于探索信息自適應(yīng)聚類的多智能體動(dòng)態(tài)分層強(qiáng)化學(xué)習(xí)方法(MADHRL-ACEI)。
　　 具體而言，論文的研究主要包括下述幾個(gè)方面:
　　 (1)動(dòng)態(tài)未知環(huán)境下動(dòng)態(tài)分層學(xué)習(xí)的可行性分析
　　 論

4、文首先從強(qiáng)化學(xué)習(xí)的本質(zhì)出發(fā)，分析引起“維度災(zāi)難”的原因。進(jìn)而通過(guò)分析和比較多種分層學(xué)習(xí)方法，闡述狀態(tài)抽象和動(dòng)作抽象思想在緩解“維度災(zāi)難”的優(yōu)勢(shì)和不足，以及靜態(tài)分層學(xué)習(xí)在動(dòng)態(tài)未知環(huán)境下的缺陷。針對(duì)MAXQ靜態(tài)分層架構(gòu)的特點(diǎn)，運(yùn)用狀態(tài)抽象和動(dòng)作抽象思想，分析基于模型學(xué)習(xí)方法實(shí)現(xiàn)MAXQ值函數(shù)分解的可行性，并提出實(shí)現(xiàn)MAXQ動(dòng)態(tài)分層的關(guān)鍵問(wèn)題。
　　 (2)提出一種基于模型的靜態(tài)分層強(qiáng)化學(xué)習(xí)算法Bayesian-MAXQ為了充分利用基

5、于模型法（如貝葉斯學(xué)習(xí)）學(xué)習(xí)效率高的特點(diǎn)和MAXQ分層框架具有良好在線學(xué)習(xí)能力的優(yōu)勢(shì)，論文研究融合貝葉斯學(xué)習(xí)和MAXQ值函數(shù)分解算法的方法，解決分層條件下貝葉斯學(xué)習(xí)中的數(shù)據(jù)記錄和值函數(shù)迭代更新問(wèn)題。主要的改進(jìn)包括:增加一個(gè)維度用于表示子任務(wù)的標(biāo)號(hào)，實(shí)現(xiàn)與MAXQ狀態(tài)空間的統(tǒng)一;增加位于所有層次內(nèi)狀態(tài)-動(dòng)作對(duì)之間的聯(lián)系，建立狀態(tài)轉(zhuǎn)移的前向和逆向拓?fù)潢P(guān)系;改進(jìn)Prioritized Sweeping算法中的優(yōu)先級(jí)計(jì)算方程，實(shí)現(xiàn)分層框架下值函

6、數(shù)的動(dòng)態(tài)規(guī)劃求解。最終提出一種基于模型的靜態(tài)分層強(qiáng)化學(xué)習(xí)算法Bayesian-MAXQ，并通過(guò)典型的出租車任務(wù)驗(yàn)證了Bayesian-MAXQ算法的有效性。
　　 (3)提出一種基于概率模型的動(dòng)態(tài)分層強(qiáng)化學(xué)習(xí)算法(DHRL-Model)
　　 Bayesian-MAXQ算法只是改善了已知分層結(jié)構(gòu)下強(qiáng)化學(xué)習(xí)的效率。為了滿足在未知大規(guī)模復(fù)雜動(dòng)態(tài)環(huán)境中的應(yīng)用需求，論文研究運(yùn)用狀態(tài)抽象思想實(shí)現(xiàn)MAXQ分層結(jié)構(gòu)的動(dòng)態(tài)實(shí)現(xiàn)方法。通過(guò)

7、研究基于子目標(biāo)的狀態(tài)聚類方法，實(shí)現(xiàn)子目標(biāo)狀態(tài)點(diǎn)的自動(dòng)識(shí)別，并基于子目標(biāo)狀態(tài)集合實(shí)現(xiàn)類MAXQ分層結(jié)構(gòu)的自動(dòng)分層和學(xué)習(xí)過(guò)程中分層結(jié)構(gòu)的動(dòng)態(tài)更新。在動(dòng)態(tài)分層基礎(chǔ)上，運(yùn)用Bayesian-MAXQ算法搜索智能體解空間動(dòng)態(tài)分層條件下的遞歸最優(yōu)策略。從而形成DHRL-Model算法，顯著提高未知環(huán)境下智能體的學(xué)習(xí)效率。
　　 (4)提出一種基于探索信息自適應(yīng)聚類的多智能體動(dòng)態(tài)分層強(qiáng)化學(xué)習(xí)算法(MADHRL-ACEI)
　　 為了緩

8、解合作式多智能體強(qiáng)化學(xué)習(xí)過(guò)程中面臨的嚴(yán)重“維度災(zāi)難”問(wèn)題，提高多智能體系統(tǒng)的學(xué)習(xí)效率以滿足未知復(fù)雜多智能體環(huán)境下的應(yīng)用需求，論文研究并提出一種基于探索信息自適應(yīng)聚類的多智能體動(dòng)態(tài)分層強(qiáng)化學(xué)習(xí)方法MADHRL-ACEI。通過(guò)研究基于狀態(tài)自反周期的多智能體動(dòng)作抽象算法，融合單智能體DHRL-Model算法中的狀態(tài)聚類方法，提出了基于探索信息自適應(yīng)聚類的多智能體動(dòng)態(tài)分層算法，實(shí)現(xiàn)在動(dòng)態(tài)未知環(huán)境下，多智能體系統(tǒng)類MAXQ結(jié)構(gòu)的自動(dòng)生成和動(dòng)態(tài)優(yōu)化