大規(guī)模網(wǎng)絡(luò)下復(fù)雜應(yīng)用識別及私有網(wǎng)絡(luò)挖掘技術(shù)研究.pdf

1、互聯(lián)網(wǎng)的出現(xiàn)為人們帶來了極大的便利，改變了吃穿住行等多個領(lǐng)域的生活方式。隨著互聯(lián)網(wǎng)的日益普及和網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)已經(jīng)成為了人們主要的交流溝通工具和信息分享渠道。然而，隨著網(wǎng)絡(luò)用戶規(guī)模的不斷擴大，網(wǎng)絡(luò)新技術(shù)的不斷發(fā)展，給網(wǎng)絡(luò)用戶帶來便利的同時卻是給網(wǎng)絡(luò)管理帶來了巨大的挑戰(zhàn)。
　　傳統(tǒng)的網(wǎng)絡(luò)分析方法在面對大規(guī)模的網(wǎng)絡(luò)流量時，遇到嚴(yán)重的困境：首先，新出現(xiàn)的網(wǎng)絡(luò)應(yīng)用大規(guī)模地使用分布式架構(gòu)和加密協(xié)議，并采用復(fù)雜的通信過程保證業(yè)務(wù)的完

2、備性，極大地改變了網(wǎng)絡(luò)流量的組成方式，使得傳統(tǒng)的協(xié)議識別方法無法有效識別關(guān)鍵業(yè)務(wù)和關(guān)鍵應(yīng)用，嚴(yán)重影響了網(wǎng)絡(luò)運營商和網(wǎng)絡(luò)服務(wù)商對網(wǎng)絡(luò)環(huán)境的認(rèn)知，以及對關(guān)鍵服務(wù)的保障，甚至可能帶來嚴(yán)重的網(wǎng)絡(luò)安全問題，造成用戶的數(shù)據(jù)丟失和隱私被竊?。黄浯?，大規(guī)模網(wǎng)絡(luò)環(huán)境所帶來的類不平衡問題嚴(yán)重影響了基于機器學(xué)習(xí)的協(xié)議識別方法的準(zhǔn)確性，降低了其實用效果；再次，隨著網(wǎng)絡(luò)用戶、帶寬和應(yīng)用的快速增長，網(wǎng)絡(luò)流量急劇膨脹，呈現(xiàn)大數(shù)據(jù)的特性，給傳統(tǒng)的網(wǎng)絡(luò)協(xié)議分析方法帶來了

3、嚴(yán)重的挑戰(zhàn)。
　　因此，基于上述研究背景及相關(guān)問題，本文的主要工作包括：
　　（1）針對復(fù)雜應(yīng)用識別難的問題，提出了基于流感知的復(fù)雜應(yīng)用識別方法，該方法通過對復(fù)雜應(yīng)用通信特性的分析和研究，從時間、空間以及流量三個維度對復(fù)雜應(yīng)用所產(chǎn)生的網(wǎng)絡(luò)流量進行感知，建立了一個有效的行為模型，能夠有效識別復(fù)雜應(yīng)用，解決了復(fù)雜應(yīng)用識別問題；
　?。?）針對大規(guī)模網(wǎng)絡(luò)環(huán)境中小類別應(yīng)用識別準(zhǔn)確率低的問題，提出了基于MinMax原則分類器集成

4、的SAIMM方法。首先分析了大規(guī)模網(wǎng)絡(luò)下正例樣本和反例樣本比例過大所引發(fā)的的正例識別結(jié)果中誤報增多的原因和機理，之后采用分類器集成的方法對數(shù)據(jù)樣本進行處理，提高小類別應(yīng)用流量的識別偏重，在保證總體識別準(zhǔn)確率的同時，提高對小類別應(yīng)用流量的識別性能；
　?。?）針對網(wǎng)絡(luò)流量大數(shù)據(jù)分析難和復(fù)雜應(yīng)用私有網(wǎng)絡(luò)挖掘難的問題，提出了網(wǎng)絡(luò)流場方法，將主機、服務(wù)器、網(wǎng)絡(luò)流量等信息抽象成節(jié)點、通信行為等，采用流場挖掘、流量關(guān)聯(lián)的方法對海量的網(wǎng)絡(luò)信息進

5、行挖掘，構(gòu)建普通用戶甚至網(wǎng)絡(luò)運營商所看不到的復(fù)雜應(yīng)用私有網(wǎng)絡(luò)，剖析私有網(wǎng)絡(luò)的運行機制；
　?。?）綜合上述三個方面的研究成果，設(shè)計并實現(xiàn)了一套復(fù)雜應(yīng)用識別與分析系統(tǒng)SpiderWeb，包括網(wǎng)絡(luò)流量預(yù)處理模塊、流感知模型特征提取模塊、復(fù)雜應(yīng)用識別模塊、海量日志存儲模塊、網(wǎng)絡(luò)流場挖掘模塊以及可視化展示模塊等。實驗結(jié)果表明，該系統(tǒng)能夠有效解決大規(guī)模網(wǎng)絡(luò)環(huán)境下的復(fù)雜網(wǎng)絡(luò)識別與分析問題，滿足識別性能和分析的需要。
　　本文提出的復(fù)雜應(yīng)