基于多參數的文件存儲分配算法研究.pdf

1、伴隨著流媒體和網絡技術的飛速進步，采用高性能集群搭建的視頻點播服務系統正在快速發(fā)展，海量數據處理是其在實際應用中的主要任務，無論是影片的傳輸、存儲還是處理都涉及到TB級的數據吞吐量。因而一種流媒體系統專用的優(yōu)化分配算法可以提高系統的響應能力，改善目前普遍存在的I/O瓶頸現象。
　　 專用存儲分配算法應充分發(fā)掘流媒體系統特性，其核心目標是通過將大量的影片文件組以某種規(guī)則進行分劃，然后存儲到相應的磁盤上，使整個存儲系統中各磁盤在I/

2、O負載上呈均勻分布，獲得很好的并發(fā)處理能力。文件存儲分配算法的研究一直以來都是熱點問題也是難點問題，目前已經提出的大部分算法都存在僅適用于小規(guī)模數據量或者僅考慮到部分系統特征的局限性，不能達到實際環(huán)境中的性能要求。
　　 針對上述問題本論文提出了基于特征加權和的偏移補償算法進行以下改進：
　　 首先，為了適應海量數據處理的實際要求，建立高性能集群和存儲硬盤集合的拓撲模型并提出各子系統的具體定義，通過在整個存儲系統的前端加

3、入統一的存儲調度器，可利用半同步半異步的模式使指定目標磁盤和實際存儲數據的工作互相分離，使服務器、調度器和存儲設備各司其職，提高并行服務能力。
　　 然后，通過對模型的進一步分析，抽取出能夠表征系統存儲操作過程特性的決策變量和約束條件。根據多目標問題的求解方法，得到一個綜合各變量和條件的評價函數，使用該函數對文件進行評估，存儲調度器則根據不同文件的評估值進行偏移補償的方式來選擇它們所對應的目標磁盤，進而達到優(yōu)化文件在磁盤上存儲結

4、構的目的。
　　 接下來，為了尋找目標函數中各個變量的加權系數的優(yōu)化配比方案，本文中采用了預先偏好選擇的策略，即對多種可能的系數組合進行反復嘗試。通過設定、多組典型的配比數值方案，代入目標函數對文件評估，依靠仿真實驗來模擬各個決策變量在磁盤上的分配結果，分析擬合曲線走向可以近似得到最優(yōu)系數配比。
　　 最后，為了驗證偏移補償算法是否更具優(yōu)勢，選擇了輪詢、隨機、容量均分等幾種算法作為性能參照。在完全相同的仿真實驗條件下，使