1、<p>　　Learning Control of Robot Manipulators</p><p>　　ROBERTO HOROWITZ</p><p>　　Department of Mechanical Engineering</p><p>　　University of California at Berkeley</p>&l

2、t;p>　　Berkeley，CA 94720,U.S.A</p><p>　　Phone:（510）642-4675</p><p>　　e-mail:horowitz@canaima.berkeley.edu</p><p><b>　　Abstract</b></p><p>　　Learning contr

3、ol encompasses a class of control algorithms for programmable machines such as robots which attain, through an interactive process, the motor dexterity that enables the machine to execute complex tasks. In this paper we

4、discuss the use of function identification and adaptive control algorithms in learning controllers for robot manipulators. In particular, we discuss the similarities and differences between betterment learning schemes, r

5、epetitive controllers and adaptive learning sc</p><p>　　Key words: Learning control, adaptive control, repetitive control, robotics</p><p>　　Introduction</p><p>　　The emulation of h

6、uman learning has long been among the most sought after and elusive goals in robotics and artificial intelligence. Many aspects of human learning are still not well understood. However, much progress has been achieved in

7、 robotics motion control toward emulating how humans develop the necessary motor skills to execute complex motions. In this paper we will refer to learning controllers as the class of control systems that generate a cont

8、rol action in an interactive manner using </p><p>　　The term learning control in the robot motion control context was perhaps first used by Arimoto and his colleagues(c,f(Arimoto et al.,1984;Arimoto et al.,1

9、988)).Arimoto defined learning control as the class of control algorithms that achieve asymptotic zero error tracking by an interactive betterment process ,which Arimoto called learning. In this process a single finite h

10、orizon tracking task is repeatedly performed by the robot, starting always from the same initial condition. The control actio</p><p>　　Parallel to the development of the learning and betterment control schem

11、es, a significant amount of research has been directed toward the application of repetitive control algorithms for robot trajectory tracking and other motion control problems (c.f.(Hara et al.,1988;Tomizuka et al.,1989;T

12、omizuka,1992)). The basic objective in repetitive control is to cancel an unknown periodic disturbance or to track an unknown periodic reference trajectory. In it’s simplest form, the periodic signal generat</p>

13、<p>　　My interest in learning and repetitive control arouse in 1987, as a consequence of studying the stability of a class of adaptive and repetitive controllers for robot manipulators with my former student and col

14、league Nader Sadegh. My colleague and friend Masayoshi Tomizuka had been working very actively in the area of repetitive control and he introduced me to this problem. At that time there was much activity in the robotics

15、and control communities toward finding adaptive control algorithms for </p><p>　　Unfortunately, as discussed in (Hara et al., 1988; Tomizuka et al.,1989; Sadegh et al.,1990), the asymptotic convergence of th

16、e basic repetitive control system can only be guaranteed under restrictive conditions in the plant dynamics or restrictions in the nature of the disturbance signals. These conditions are generally not satisfied in robot

17、control applications. Most often ,modifications in the update schemes are introduced ,such as the so called Q filter modification (Hara et al.,1988;Tomizu</p><p>　　Our research has revealed that the robustne

18、ss limitation of the basic betterment and repetitive control laws and the inability of these algorithms to learn multiple tasks in part stem from the fact that all these schemes use point to point function adaptation alg

19、orithms. These algorithms only update the value of the control input at the current instant of time and do not provide a mechanism for updating the control input at neighboringpoints. However, in most applications the co

20、ntrol function th</p><p>　　One solution to the interpolation problem in robot learning control was presented in（Miller,1987）with the use of the so called “cerebellar model arithmetic computer” (CMAC).In this

21、 algorithm an input vector is mapped to several locations in an intermediate memory, and the output vector is computed by summing over the values stored in all the locations to which the input vector was mapped. The mapp

22、ing of input vectors has the property that inputs near to each other map to overlapping regions in i</p><p>　　In (Messner et al.,1991) we introduced a class of function identification algorithms for learning

23、 control systems based on integral transforms, in order to address the robustness and interpolation problems of point to point repetitive and learning betterment controllers mentioned above. In these adaptive learning al

24、gorithms unknown functions are defined in terms of integral equations of the first kind which consist of known kernels and unknown influence functions. The learning process involves t</p><p>　　The reminder o

25、f the paper we discuss the use of learning control in the robot tracking control context ,and stress the similarities and between betterment learning chemes, repetitive control schemes and learning schemes based on integ

26、ral transforms. Conclusions and reflections on some of the outstanding problems in this area are included in the last section.</p><p><b>　　機器人模仿控制論</b></p><p><b>　　羅伯特霍洛維茨</

27、b></p><p><b>　　機械工程學系</b></p><p><b>　　加州大學伯克利分校</b></p><p>　　伯克利分校，加州94720 ，美國</p><p>　　電話： （ 510 ） 642-4675</p><p>　　電子郵箱： horo

28、witz@canaima.berkeley.edu</p><p><b>　　摘要</b></p><p>　　模仿控制涵蓋了一類可編程機器的控制算法，如機器人的動作就是通過一個互動的進程，以及能讓機器來執(zhí)行復雜任務的機動馬達來實現(xiàn)的。在本文中，我們討論了機器人模仿控制器功能的識別和自適應控制算法的使用。我們還特別討論了在積分變換基礎上改進模仿方案，重復控制器和自適

29、應模仿方案的異同，突出了在積分變換基礎上自適應模仿算法的穩(wěn)定性和收斂性，并給出了表明其中一些特性的實驗結果。</p><p>　　關鍵詞：模仿控制，自適應控制，重復控制，機器人</p><p><b>　　導言</b></p><p>　　機器人技術和模仿人類的人工智能一直是最難以實現(xiàn)的追求和目標。雖然關于人類許多方面的模仿仍然沒有得到很好的實

30、現(xiàn)，但是在模仿人類如何獲得執(zhí)行復雜的動作所必需的運動技能上，機器人運動控制已經(jīng)取得了很大進展。在本文中，我們將參照模仿控制器類的控制系統(tǒng)，生成一個以迭代方式進行的控制動作，并運用功能適應算法，以執(zhí)行規(guī)定的動作。在典型的模仿控制應用軟件中，測試系統(tǒng)測試出錯誤信號后便更新控制輸入，而適應算法也因此不斷地提高控制系統(tǒng)的性能，從而受控制的機器可以反復執(zhí)行規(guī)定的任務。</p><p>　　在研究機器人運動控制的領域里，模仿

31、控制這一術語也許是第一次為Arimoto和他的同事們所使用(c,f(Arimoto et al.,1984;Arimoto et al.,1988))。Arimoto把模仿控制定義為通過迭代方式改善進程從而達到零誤差漸近跟蹤的一類控制算法，他也把它命名為模仿。在這個過程中，機器人總是從相同的初始條件開始，在一個單一的有限度的范圍內(nèi)進行反復的任務追蹤?？刂苿幼鞯拿看螠y試結果相當于控制動作的前一次測試結果再加上加上條件比例跟蹤誤差及其時間導

32、數(shù)。</p><p>　　與模仿和改善控制方案并行發(fā)展的是，大量的研究已經(jīng)直接針對機器人軌跡跟蹤重復控制算法的應用和其他運動控制問題(c.f.(Hara et al.,1988;Tomizuka et al.,1989;Tomizuka,1992))。重復控制的基本目標是消除不明周期干擾或跟蹤未知定期參考軌跡。在它最簡單的形式中，許多重復控制算法的定期信號發(fā)生器與改善模仿規(guī)律很相似(Arimoto et al.,

33、1984; Arimoto et al.,1988)。然而，在模仿過程中的行為改善控制器有時間界限，該行為不斷重復控制器上調(diào)節(jié)器的動作。此外，對于模仿改善的方法，假定機器人在每一次模仿試驗中總是從相同的初始條件開始執(zhí)行任務的，但是這不是重復控制方法那種情況。</p><p>　　我在模仿和重復控制方面的興趣開始于1987年，是因為那時我和我的校友及同事Nader Sadegh一起學習研究了一類有關機器人自適應和重

34、復控制器穩(wěn)定性的知識。我的同事和朋友Masayoshi Tomizuka在重復控制這塊領域里一直都非常積極地去研究，也是他把我引入了這個課題。當時機器人技術和控制領域里有很多人都積極的為機器人尋找能漸近穩(wěn)定的自適應控制算法，所以這些算法都必須通過嚴格的證明。最近，Slotine和Li(1986),Sadegh和Horowitz(1987以及 Wen and Baynard(1988)已經(jīng)通過運用鈍性解決了這個問題。與此相反的是，在那一時

35、期大部分模仿和重復控制的的穩(wěn)定性成果都是建立在幾個不現(xiàn)實的假設之上的，或者是動態(tài)的機器人線性假定，或者是被認為可能是至少部分線性反饋控制。此外，還有人認為在大多數(shù)工程中，即使是短暫的模仿，機器人的實際反應也是定期或重復的，并且還可直接測量出聯(lián)合加速度。最近我和Nader在我們的自適應控制研究中已證明了這種說法，并得出結論，我們認為模仿控制器可使用類似的做法進行合成和分析。我們覺得，模仿和控制器的主要優(yōu)點在于它的簡單和直接</p&g

36、t;<p>　　不幸的是，正如在(Hara et al.,1988; Tomizuka et al.,1989; Sadegh et al.,1990)討論的一樣，漸近收斂的基礎的重復控制系統(tǒng)只有在機械動態(tài)或局限性干擾信號的嚴格限制性條件下才能保證。這些條件一般不適合應用在機器人的控制中。大多數(shù)情況下，更新方案后有相應的修改，如所謂的Q濾波器修改(Hara et al.,1988;Tomizuka et al.,1989)

37、，可以增強重復控制器強度，但是要以犧牲限制其跟蹤性能為代價。同樣，就機器人開始時的每一個模仿實驗的初始條件而言，在合理的假設下，融合改善模仿方案已經(jīng)得到證明。到目前為止，我們討論的改善模仿和重復控制方案的另一個缺點，就是這些算法是為單一任務的迭代模仿而提出的。在這些領域里沒有任何研究工作可提供拓展模仿工序的一個這樣的機制，它能使機器同時模仿大量家務工作，或提是供一個系統(tǒng)的機制，即運用通過模仿特殊任務獲得的靈活性去執(zhí)行稍微有點不同但具有類

38、似性質(zhì)的工作。在Nader離開伯克利分校成為一名佐治亞理工學院的教員后，我和Bill Messner開始對這些問題進行了研究。</p><p>　　我們的研究表明，本質(zhì)改變和重復控制規(guī)律的巨大局限性和這些用來模仿多樣任務的算法的失效在某種程度上源于一個事實，即所有這些方案都是使用點對點功能適應算法。這些算法僅僅只更新了控制輸入在當前即時的時間內(nèi)的實用性，但并沒有提供一種可以在相鄰時間內(nèi)更新控制輸入的機制。然而，大

39、多數(shù)應用中的必須查明的控制功能，通常至少是分段連續(xù)的。因此，在某一特定點上控制的實用性將和附近的點的實用性幾乎一樣，而點對點的功能更新規(guī)律不能充分利用這種情況。這個焦點已經(jīng)更廣泛地影響模仿問題和可尋址內(nèi)容存儲器的問題。讓我們考慮把機器人的多任務模仿控制算法的情況作為一個例子。在此應用程序中，幾個功能變量必須確定，即機器人的逆動力學參數(shù)。在有限的時間內(nèi)用于訓練改善控制的軌道不能訪問到主函數(shù)每一個點（或載體）。因此，在用點至點更新的規(guī)律時，

40、執(zhí)行一次任務中控制輸入功能的精確識別將不會提供生成控制輸入任務的任何信息，除非其他類似的軌道相交，或者使用了某種插值。類似地，在可尋址內(nèi)容存儲器中，可取的做法是模仿算法應有一個“插值“的性能，因此，輸入向量是類似以前的經(jīng)驗輸入向量，但對系統(tǒng)來說還是新的向量，輸出向量還是類似以前的經(jīng)驗輸出載體</p><p>　　在機器人模仿控制的插值問題上，（Miller,1987）一書提出了利用所謂的“小腦模型算術計算機”(C

41、MAC)的解決辦法。在該算法中，一個輸入向量被映射到在中間記憶的幾個點上，而輸出向量是由總結存儲在輸入向量被映射到的所有點的值算出的。輸入向量的映射有一個特性就是在中間記憶中彼此靠近的輸入向量將映射在重疊的區(qū)域，這能導致插值的自動進行。</p><p>　　在(Messner et al.,1991)中，我們介紹了基于積分變換的模仿控制系統(tǒng)的一類功能識別算法，以便處理在上文提到的點對點的重復性和模仿改善控制器的強

42、度和插值問題。在這種自適應模仿算法中，未知函數(shù)是以第一類積分方程的形式定義的，這種積分方程由已知的和未知的核心功能影響函數(shù)組成。模仿過程中涉及到通過估計影響函數(shù)對未知函數(shù)的間接估計。整個影響函數(shù)被調(diào)整成與每一個點的核心值成比例。因此，在更新影響函數(shù)和發(fā)生函數(shù)的估計中核心值的使用為這些算法提供了理想的插值和平滑的性能，并且克服了前面點對點改善和重復控制方案的有關多變函數(shù)估計中的限制問題。此外，積分變換的運用使得這些模仿算法表現(xiàn)出強大的穩(wěn)定