基于MapReduce的海量視頻轉碼系統(tǒng)優(yōu)化機制.pdf

1、隨著智能移動終端的普及,移動應用變得越來越重要,視頻服務作為主要的娛樂工具將會在移動應用中發(fā)揮重要作用。移動終端的異構性以及視頻編碼格式的多樣性等導致終端對視頻的需求都不一樣,并且由于移動網絡的易變性,同一終端在不同時刻對視頻的需求也不一樣。因此為了根據網絡狀況傳輸不同質量層次的視頻文件,需要將視頻文件轉碼成不同分辨率碼率的多個文件,即需要對海量視頻進行轉碼。由于視頻文件數據量大,轉碼又是耗時耗資源的一個過程,需要合理地分配計算資源和網

2、絡帶寬來提高資源利用率,降低轉碼時間。
　　基于MapReduce的海量視頻轉碼系統(tǒng)采用Hadoop對轉碼過程進行并行加速,結合數據管理和數據本地化任務調度方式,減少數據在集群中的遷移。主要優(yōu)化方案為:
　　(1)在視頻接入時將各個視頻文件分散到轉碼節(jié)點,并對轉碼過程進行流水線式處理,合理分配計算資源和網絡帶寬;
　　(2)為減少視頻分片傳輸,在進行任務調度的時候結合數據本地化特征,將數據在某節(jié)點上的任務保留在該節(jié)點中

3、;并對視頻分片元數據進行管理,根據任務調度在集群中進行分割、復制、排序等操作,在轉碼階段才根據元數據指示的文件分片名及位置傳輸視頻分片;
　　(3)為實現最大的系統(tǒng)利用率,對分片進行不同粒度的分割,最后,結合遺傳算法和粒子群優(yōu)化算法對轉碼日志進行分析,優(yōu)化節(jié)點的任務槽數目配置。
　　基于MapReduce的海量視頻轉碼數據管理與調度縮短了視頻文件的轉碼時間,提高了系統(tǒng)的吞吐量。性能測試表明,相對于現有的基于MapReduce