基于遷移過采樣的類別不平衡學習算法研究.pdf

1、類別不平衡問題是機器學習在很多真實世界應用中面臨的一大挑戰(zhàn)，即分類問題中各類樣本數差異明顯，某些類別樣本數遠遠小于其他類別，而小類別是關注的重點。在類別不平衡學習中，性能評價準則為AUC、F值或G-mean等，而非正確率。
　　隨機過采樣是一種簡單有效的類別不平衡學習方法，但它通常有過擬合風險。為了降低過擬合風險，SMOTE方法采用增加人工小類樣本的方式進行過采樣，但可能會引入噪聲，并加重類間的“重疊”(overlapping)問

2、題，也就是說，人工樣本和真實樣本不是獨立同分布的。為了生成與真實數據分布更為一致的人工樣本，一系列改進算法被提出，它們使用小類樣本的近鄰信息指導采樣過程，或者對真實數據分布進行估計來生成小類樣本。然而，在小類樣本絕對稀少時，不管采用何種策略，都不能保證人工樣本完全服從真實數據分布。因此，有必要承認人工樣本不服從真實數據分布，并由此引出了一個值得研究的問題:在小類樣本絕對稀少時，如何有效利用這些人工小類樣本解決類別不平衡問題。
　　

3、本文針對該問題進行研究，考慮到人工小類樣本雖然與真實數據分布不完全一致，但它們具有高度相關性，因此使用遷移學習的思想有效利用與真實數據分布高度相關的人工小類樣本解決類別不平衡問題，主要做了以下工作:
　　1)提出了一種基于Boosting框架的類別不平衡學習算法TrasoBoost。該算法在每一輪迭代過程中分別降低和提高被學習器錯分的人工小類樣本和原始樣本的權重，而保持被正確分類的樣本權重不變。這樣在若干輪迭代后，非同分布的人工小

4、類樣本權重會逐漸降低，從而降低其對分類器的影響。實驗結果表明，TrasoBoost優(yōu)于多種流行的類別不平衡學習算法。
　　2)提出了一種基于大間隔的遷移學習算法TrSVMs。該算法對基于大間隔的遷移學習算法AUX-SVMs進行了改進，對源領域和目標領域在一個優(yōu)化問題中分別學習分類超平面以降低源領域和目標領域分布差異大帶來的困難。實驗結果表明，TrSVMs性能優(yōu)于AUX-SVMs。后續(xù)工作中將在TrSVMs算法的基礎上，有效利用非獨