基于視頻流的人體行為識別方法研究.pdf

1、近些年來，隨著互聯(lián)網和多媒體技術的飛速發(fā)展，數字資源正處于指數式的增長狀態(tài)，數字視頻作為數字資源中的重要組成部分，已經進入人們生活的方方面面，如何對這些數字視頻中的人體行為進行快速準確的分類，成為了人們研究的熱點。本文針對上述問題展開，主要目標是通過深度學習中的卷積神經網絡技術提取視頻中的人體行為的時間特征與空間特征，實現(xiàn)對視頻中的人體行為快速準確地分類。論文主要工作與成果如下:
　　(1)針對卷積神經網絡在使用高質量視頻時產生的

2、巨大計算量問題，本文提出了一種雙流殘差網絡(Twostream-ResNet，TS-ResNet)用來進行人體行為識別。該算法首先使用殘差網絡構造了空問識別流和時間識別流的雙流網絡結構來提取視頻中的空間特征和時間特征，然后將這兩個特征融合后送入分類器分類，最后通過實驗分析驗證TS-ResNet增加了網絡的深度并提高了識別的準確度，同時降低了算法的時間復雜度。在UCF101和HMDB51數據集上分別進行實驗，結果表明，與人工特征中表現(xiàn)最好

3、的iDT算法相比，TS-ResNet在UCF101數據集上要高0.35％，而在HMDB51數據集上提升了5.6％。與傳統(tǒng)卷積神經網絡算法VLAD vector相比，TS-ResNet在UCF101數據集上要高2.05％，而在HMDB51數據集上提升了6.4％。
　　(2)針對傳統(tǒng)殘差網絡中獲得的特征魯棒性不夠的問題，提出了一種深度融合殘差網絡(deep fusion ResNet，DF-ResNet)。該算法拋棄了傳統(tǒng)殘差網絡中的

4、極深層網絡，使用了更多的中層深度網絡，增加了融合次數，提升了潛在的基礎網絡組合數目，從而提高了整體網絡的性能。實驗分析驗證提出的DF-ResNet能夠提供比傳統(tǒng)的殘差網絡更高的準確度。將DF-ResNet在UCF101和HMDB51數據集上實驗，結果表明，與傳統(tǒng)殘差網絡相比，DF-ResNet在兩個數據集上的準確度分別提高了0.6％和1％。
　　(3)在上述算法的基礎上，為了進一步利用時間因素，本文提出雙流深度融合殘差網絡(Two