基于平均型強化學習算法的動態(tài)調度方法的研究.pdf

1、論文主要研究了基于平均型強化學習算法的動態(tài)調度方法。 實際的動態(tài)調度問題往往呈現出很大的復雜性：動態(tài)調度是一類信息不完全的調度，在環(huán)境不確定和擾動因素的影響下，需要不斷的改變調度策略，是調度策略優(yōu)化的過程；動態(tài)調度通常是對多約束下多目標的綜合考慮；動態(tài)調度處理的問題常常帶有隨機性。解決動態(tài)調度的方法也有很多，因此論文首先對解決動態(tài)調度問題的方法進行了歸納總結，大致分為基于運籌學理論的傳統調度方法和基于人工智能的智能調度方法。強化

2、學習作為機器學習的一種，它組合了動態(tài)規(guī)劃、隨機逼近和函數逼近的思想，智能體學習從環(huán)境到行為的映射，以使獎勵信號函數值最大。因為強化學習與以往調度方法相比，無需建立精確的問題模型，也有著堅實的數學基礎，很適合解決動態(tài)調度問題，因此論文把基于強化學習的調度方法特地歸為一類。 目前有多種強化學習算法，各算法性能存在著差異，在各算法中也有相應的參數，這些參數對算法有著重要的影響。因此在將強化學習算法應用于具體的實際調度問題前，應首先對學

3、習算法本身做深入的研究。論文針對一個比較典型的強化學習算法實驗環(huán)境Grid-World，采用面向對象的思想和技術用Visual C++6.0搭建可視化的仿真軟件。在該環(huán)境中，強化學習算法單元暴露固定的算法函數接口，對平均型算法R學習、折扣型算法Q學習、Sarsa 學習編制動態(tài)鏈接庫形式的算法，形成多種強化學習的算法包，針對參數對強化學習算法性能的影響進行仿真實驗分析，并比較不同的強化學習算法性能的差異。該軟件的搭建與得出的關于強化學習算

4、法的定性結論為后續(xù)的研究打下基礎。 論文的最后針對一個實際的復雜動態(tài)調度系統——電梯群組調度，采用基于平均型強化學習R學習算法來進行仿真實驗。分析電梯群組調度問題的特點，把它抽象為平均型的馬氏決策過程，定義對應于平均型強化學習算法中的狀態(tài)、行為、報酬等元素，采用隨機選擇策略防止求解陷入局部最優(yōu)，應用徑向基函數神經網絡解決行為值函數的存儲和泛化問題，使基于平均型的強化學習算法順利應用于電梯群組調度。結合電梯群控仿真環(huán)境進行調度算法