分布式深度學(xué)習(xí)中參數(shù)交換優(yōu)化機制研究.pdf

1、深度學(xué)習(xí)算法正得到越來越廣泛的關(guān)注和應(yīng)用，然而隨著輸入訓(xùn)練數(shù)據(jù)集和神經(jīng)網(wǎng)絡(luò)模型的增大，單節(jié)點進行深度學(xué)習(xí)訓(xùn)練存在內(nèi)存限制以及訓(xùn)練耗時等問題，分布式深度學(xué)習(xí)應(yīng)運而生。其中，參數(shù)服務(wù)器多基于分布式方法設(shè)計，普遍采用并行隨機梯度下降算法進行梯度更新訓(xùn)練。
　　分布式參數(shù)服務(wù)器的設(shè)計能有效提升深度學(xué)習(xí)的訓(xùn)練速度，但面對大規(guī)模神經(jīng)網(wǎng)絡(luò)參數(shù)時，工作節(jié)點和參數(shù)服務(wù)器節(jié)點進行參數(shù)交換的時間過長，會消耗較多并行訓(xùn)練的時間，是整個分布式訓(xùn)練中的瓶頸。

2、現(xiàn)有的解決方式是依靠手動優(yōu)化參數(shù)交換的時間間隔，以降低參數(shù)交換頻率和開銷。手動設(shè)置的各工作節(jié)點交換時間間隔固定且相等，來自不同工作節(jié)點的參數(shù)交換請求會在近乎相同的時間點到達(dá)參數(shù)服務(wù)器節(jié)點而呈現(xiàn)請求突發(fā)現(xiàn)象；而參數(shù)服務(wù)器節(jié)點資源有限，不同的參數(shù)交換請求必須通過排隊依次獲得其資源以得到處理，瓶頸依然存在。
　　針對上述問題，設(shè)計了一種通過自動設(shè)置最佳參數(shù)交換時間間隔來消除分布式深度學(xué)習(xí)參數(shù)交換瓶頸同時保證訓(xùn)練準(zhǔn)確率的方法和系統(tǒng)；并在內(nèi)

3、存容量足夠容納整個參數(shù)模型的前提下，對并行隨機梯度下降算法進行了優(yōu)化。其工作機制為：通過監(jiān)控參數(shù)服務(wù)器節(jié)點的資源使用情況，動態(tài)為各個工作節(jié)點選取一定范圍內(nèi)不同的參數(shù)交換時間間隔以避免請求突發(fā)現(xiàn)象，并在達(dá)到時間間隔上限時進行強制參數(shù)交換，依此來消除參數(shù)交換瓶頸的同時保證準(zhǔn)確率。
　　實驗表明，分布式深度學(xué)習(xí)中參數(shù)交換優(yōu)化機制能夠在保證深度學(xué)習(xí)訓(xùn)練準(zhǔn)確率的前提下，使參數(shù)交換速率提升8倍，有效克服了并行訓(xùn)練中參數(shù)交換瓶頸以及參數(shù)交換請求