基于人工勢場的激勵學習問題研究.pdf

1、激勵學習因具有較強的在線自適應性和對復雜系統(tǒng)的自學習能力，備受機器人導航研究者的關注。但其在連續(xù)狀態(tài)和動作空間的泛化，局部環(huán)境的反應式控制，大狀態(tài)空間和部分可觀測環(huán)境定性導航等都存在著亟待解決的問題，且用傳統(tǒng)的算法很難滿意地解決這些問題。本文利用人工勢場和激勵學習的優(yōu)點針對機器人在較大狀態(tài)空間和部分可觀測環(huán)境下的導航問題進行了研究。 本文首先對激勵學習研究現(xiàn)狀，課題研究的背景和現(xiàn)實意義進行了綜述性介紹，并分析了當前激勵學習中兩種

2、比較成熟的方法，瞬時差分法和Q學習方法。 其次，研究了人工勢場中斥力勢函數(shù)和引力勢函數(shù)的選取，人工勢場法的優(yōu)缺點。然后重點研究了如何將激勵學習模型轉換成人工勢場模型，即利用激勵學習和人工勢場的優(yōu)點應用虛擬水流法如何構建一個具有記憶學習功能的激勵勢場模型。 最后，用三個著名的網格世界問題對激勵勢場模型進行了測試，同時在較大狀態(tài)空間中用Q學習和HQ學習等方法做了對比實驗。實驗結果表明：對較大狀態(tài)空間和部分可觀測環(huán)境新方法都能