機器學習中樣本篩選方法的研究與應用.pdf

1、伴隨科技的發(fā)展，信息浪潮撲面而來。人們每天聊天、微博、視頻、郵件等會產生大量數據信息。這些數據中包含了大量有極高價值的信息。處理這些規(guī)模龐大的數據對現有的分析方法和工具來說是巨大的挑戰(zhàn)。處理這些數據問題的數據挖掘技術就成了熱門的研究方向。隨著研究的深入，數據挖掘技術也出現了許多具體的分支，機器學習是其中最熱門的分支之一。隨著機器學習技術和理論的發(fā)展，利用這些機器學習算法進行數據分析的方案已經成功應用于某些特定領域，例如車牌識別、網絡攻擊

2、防范、手寫字符識別、面部識別、信息檢索、社會網絡和疾病診斷等。
　　但是為了分析數據問題，機器學習方法通常需要大量的數據集進行訓練，來發(fā)掘其中的規(guī)律，并建立模型，再使用模型對未知數據進行預測分析。盡管在訓練算法的優(yōu)化方面有大量的突破，機器學習方法仍然會受到龐大的訓練集的困擾，最直接的結果就是模型訓練時間漫長。同時這些未經處理的龐大訓練集常常包含大量冗余數據和離群數據。這些多余數據是那些對機器學習訓練中非關鍵數據點，它們會占用大量計

3、算資源，使機器學習模型訓練過程耗時極長，甚至會影響最終模型的精度。為了解決這些數據的質量問題，本文研究了現有的樣本縮減算法和離群點檢測算法。并提出了新的樣本縮減策略和改進的離群點檢測方法。
　　為了解決數據規(guī)模過大的問題，本文提出了殼狀數據選擇算法進行樣本篩選。該算法利用數據集分布并非絕對均勻，在不斷迭代中刪除靠近數據集中心向量的的數據點。這樣可以近乎完整的保存分布在樣本集的殼形區(qū)中的非冗余數據點。在幾乎不降低訓練后模型精度的前提

4、下，實現了減小訓練集規(guī)模的目標。然后本文結合殼狀數據選擇算法提出了一種改進的離群點檢測策略。由于許多傳統(tǒng)的檢測方法較復雜，無法直接適用于大規(guī)模數據集。同時通過分析不難發(fā)現整個數據集中大部分都是非離群點，因此傳統(tǒng)的離群點算法浪費了大部分時間在遍歷非離群點上。為了減少非離群點的遍歷改進的離群點算法首先采用殼狀數據選擇算法將大部分非離群點刪去，然后使用二分劃分算法將縮減后的數據集劃分成多個子區(qū)域，再對子區(qū)域排序并使用kNN算法來進行離群點分析