基于傳感器和強化學習的移動機器人導航研究.pdf

1、移動機器人是一門多學科相交叉的綜合性課題，它涉及的理論知識和技術方法十分廣泛，已成為機器人學、人工智能等領域的重要研究方向。目前其研究成果已經在民用、工業(yè)和軍事中得到了廣泛的應用。 傳感器系統(tǒng)是移動機器人獲取外界環(huán)境信息最重要的途徑，也是移動機器人執(zhí)行各種工作任務的基礎，感知系統(tǒng)的優(yōu)劣將直接影響移動機器人的性能和效率。因此本文對移動機器人視覺傳感器和超聲傳感器進行了研究，目的是提高移動機器人感知系統(tǒng)的性能，使其能夠獲得更精確、更

2、完善的環(huán)境信息。 此外，如何提高移動機器人的自主能力和對環(huán)境的適應性是實現(xiàn)移動機器人在不確定環(huán)境中完成復雜任務的關鍵問題。強化學習是一種有效的非監(jiān)督機器學習方法，應用強化學習方法能夠使機器人在沒有教師信號指導的條件下，通過與環(huán)境的交互來掌握導航策略和行為能力。基于此，本文深入研究了強化學習的算法以及它在移動機器人中的應用，目的是提高移動機器人的智能水平、自學習能力以及對環(huán)境的適應性。 本文根據此背景展開了研究工作，主要對

3、移動機器人視覺系統(tǒng)，超聲傳感器系統(tǒng)，強化學習相關方法及其在移動機器人中的應用，慎思、反應式移動機器人導航等問題進行了深入的研究，內容如下： 首先，基于嵌入式智能移動機器人平臺，建立了分布式視覺系統(tǒng)結構。對自主足球機器人視覺處理所涉及的關鍵技術和主要算法進行了探討和研究。 然后，研究了移動機器人超聲傳感器信息融合方法，通過融合多個超聲傳感器信息來建立機器人工作環(huán)境的不確定性網格地圖?；诰W格地圖進行兩階段路徑規(guī)劃，實現(xiàn)移動

4、機器人的慎思式導航。 其次，分別提出了兩種表格型強化學習算法，并研究了它們在移動機器人反應式行為學習中的應用。第一種方法是使用矢量量化技術來量化強化學習的狀態(tài)空間，將矢量量化的碼書作為強化學習狀態(tài)空間的量化矢量，從而構成表格型強化學習算法。另一種為基于模糊極小—極大神經網絡的強化學習在線狀態(tài)空間分割方法，可以在強化學習進行的同時完成狀態(tài)空間的自適應分割。 再次，研究了一種基于函數逼近的強化學習方法，通過模糊神經網絡來實現(xiàn)

5、強化學習狀態(tài)空間到動作空間的映射，并使用殘差算法來完成網絡的誤差反向傳播學習。同時應用該方法實現(xiàn)了移動機器人復雜導航任務的學習。接著，針對強化學習收斂速度過慢的問題，研究了提高強化學習速度的方法。分別通過嵌入專家知識和使用經驗回放技術來提高強化學習算法的執(zhí)行效率。 之后，對自適應啟發(fā)評價(AHC)強化學習算法進行了研究，并使用它來實現(xiàn)移動機器人路徑跟蹤行為的學習，AHC的評價單元使用前向神經網絡來實現(xiàn)。AHC的動作單元由模糊推理