基于信息論的加權(quán)Laplacian分類(lèi)器設(shè)計(jì).pdf

1、傳統(tǒng)的Laplacian分類(lèi)器是一種在核特征空間中與Laplacian矩陣特征值相關(guān)的分類(lèi)器，其分類(lèi)準(zhǔn)則基于信息論中的Cauchy-Schwarz(CS)散度，數(shù)學(xué)上能歸結(jié)為核特征空間中類(lèi)均值間的角度度量。該分類(lèi)器的設(shè)計(jì)不涉及任何優(yōu)化，由此降低了分類(lèi)復(fù)雜度，實(shí)驗(yàn)已表明,Laplacian分類(lèi)器優(yōu)于Parzen窗貝葉斯分類(lèi)器，且在許多情況下與SVM有相當(dāng)?shù)姆诸?lèi)性能。但由于其分類(lèi)準(zhǔn)則的值與測(cè)試點(diǎn)的概率密度成反比，故對(duì)應(yīng)的分類(lèi)器更強(qiáng)調(diào)小概率域

2、，導(dǎo)致對(duì)較高概率域的分類(lèi)效果一般。針對(duì)此，本文進(jìn)行了一系列工作，先后提出了兩個(gè)改進(jìn)方法，即單邊和雙邊加權(quán)Laplacian分類(lèi)器。
　　針對(duì)傳統(tǒng)Laplacian分類(lèi)器對(duì)小概率域分類(lèi)較好，對(duì)高概率域分類(lèi)效果一般的問(wèn)題，通過(guò)對(duì)小樣本類(lèi)用加權(quán)Parzen窗概率密度估計(jì)，并用CS散度作為代價(jià)函數(shù)優(yōu)化相應(yīng)權(quán)值，而后依據(jù)Laplacian分類(lèi)準(zhǔn)則設(shè)計(jì)出單邊加權(quán)Laplacian分類(lèi)器。實(shí)驗(yàn)表明，單邊加權(quán)Laplacian分類(lèi)器在平衡數(shù)據(jù)集上

3、的分類(lèi)結(jié)果明顯優(yōu)于Laplacian分類(lèi)器，而在不平衡數(shù)據(jù)集上的分類(lèi)結(jié)果則一般。針對(duì)此，本文進(jìn)一步提出了改進(jìn)方法，即雙邊加權(quán)Laplacian分類(lèi)器。
　　針對(duì)單邊加權(quán)Laplacian分類(lèi)器在平衡數(shù)據(jù)集上分類(lèi)效果較好，在不平衡數(shù)據(jù)集上分類(lèi)性能較一般的問(wèn)題，通過(guò)對(duì)兩類(lèi)數(shù)據(jù)均采用加權(quán)Parzen窗概率密度估計(jì)，并用CS散度作為代價(jià)函數(shù)優(yōu)化相應(yīng)權(quán)值，而后再根據(jù)Laplacian分類(lèi)準(zhǔn)則設(shè)計(jì)雙邊加權(quán)Laplacian分類(lèi)器準(zhǔn)則函數(shù)。實(shí)驗(yàn)