基于文本分類技術的垃圾郵件過濾研究.pdf

1、隨著互聯(lián)網廣告技術的發(fā)展和E-mail的普及，垃圾郵件廣告越來越嚴重，如何準確過濾垃圾郵件直接影響用戶體驗。本論文是在前人的理論與研究基礎上，系統(tǒng)的學習了垃圾郵件分類的方法，主要分析的重點是樸素貝葉斯分類方法在垃圾郵件過濾上的研究。本文首先從定義、特征以及危害等方面對垃圾郵件進行了一個概述，分析了國內外垃圾郵件研究的現(xiàn)狀，介紹了基于信件源以及基于內容的兩種垃圾郵件過濾方法。其中基于內容統(tǒng)計的樸素貝葉斯分類方法其比較高效、經濟并且易于實現(xiàn)

2、的優(yōu)點，而在垃圾郵件過濾的研究中得到了廣泛的應用。接著介紹了文本分類的關鍵技術，有文本預處理、文本特征選擇、文本表示方法以及文本分類算法。最后用實驗證明本文在傳統(tǒng)的樸素貝葉斯分類的基礎上提出的幾大改進地方使分類性能得到了提高。
　　鑒于保證郵件準確分類的重要性以及數據的真實性以及權威性，本文利用Apache SpamAssassin Project數據設計了五組對比實驗。實驗一用沒有經過任何處理的數據直接建立伯努利樸素貝葉斯分類模

3、型，由于詞典單詞量大，從而聯(lián)合概率分布計算量大，超出了計算機現(xiàn)有的計算能力，在計算文本被判為某類別的概率的過程中很容易超出浮點數的范圍，使計算結果為零，影響分類準確率。故本文優(yōu)化了計算過程，轉而計算文本被判為正常郵件概率與被判為垃圾郵件概率之比，將分類正確率從88.3％提升到92.3％。雖然經過巧妙的比值計算處理，最大限度的利用了浮點數的存取范圍，但該概率的比值還是會出現(xiàn)為零和為無窮大的情況，故需要降低文本特征維度。實驗二首先是按照傳統(tǒng)

4、方法去除停用詞，結果發(fā)現(xiàn)準確率反而降低了，說明有些停用詞對文本分類還是有一定的貢獻的，進而轉向特征提取方法。實驗三根據互信息特征提取方法作出了改進，提出“相對依存度、分類能力、綜合分類能力”等概念，提出另一種分類依據，并將其與互信息方法進行對比，發(fā)現(xiàn)當都選取一萬左右的特征詞時，準確率從87.8％提高到了96.6％。改進后的方法可以提取出綜合分類能力最大的特征集，但是對于給定的測試郵件，它的分類能力并不是最大的。故本文在此基礎上進行了深入