機器學習和神經(jīng)網(wǎng)絡(luò)學習中的若干問題研究.pdf

1、博士學位論文機器學習和神經(jīng)網(wǎng)絡(luò)學習中的若干問題研究ResearchonSomeProblemsinMachineLearningandNeuralNetworkLearning作者姓名：學號：指導(dǎo)教師：學科專業(yè)：答辯日期：姚明臣10601005吳微教授計算數(shù)學2016年3月大連理工大學DaliallUniversityofTechnology大連理工大學博士學位論文摘要在機器學習中，通常根據(jù)是否利用有標記樣本進行學習將其分為有監(jiān)督學習和

2、無監(jiān)督學習作為機器學習的重要組成部分，前饋神經(jīng)網(wǎng)絡(luò)在模式識別、函數(shù)逼近等方面具有重要應(yīng)用對有監(jiān)督學習，訓練樣本通過輸入層映射到隱層，經(jīng)隱層激活函數(shù)作用后，映射到輸出層，再根據(jù)某種學習規(guī)則進行網(wǎng)絡(luò)權(quán)值的調(diào)整神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)涉及到網(wǎng)絡(luò)中輸入層、隱層和輸出層的神經(jīng)元節(jié)點數(shù)及節(jié)點間的連接方式神經(jīng)網(wǎng)絡(luò)的學習速度與泛化能力和網(wǎng)絡(luò)結(jié)構(gòu)、樣本特性密切相關(guān)本文研究的重點是單隱層前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化，以及樣本學習過程的泛化界具體安排如下：第一章主要介紹機器學

3、習及神經(jīng)網(wǎng)絡(luò)學習，前饋神經(jīng)網(wǎng)絡(luò)及網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化和樣本學習的泛化能力等相關(guān)內(nèi)容和研究情況在第二章中，注意到樣本維數(shù)和前饋神經(jīng)網(wǎng)絡(luò)輸入層節(jié)點密切相關(guān)，我們主要研究基于粗糙集的樣本屬性約簡算法，提出了一種基于集合基本運算的屬性約簡算法，把傳統(tǒng)約簡方法中的合取、析取等運算轉(zhuǎn)化為普通集合的基本運算算例表明，該算法可以有效降低輸入樣本的維數(shù)，以此達到優(yōu)化前饋神經(jīng)網(wǎng)絡(luò)輸入層的目的第三章主要研究在多分類問題中多重感知機輸出節(jié)點，在“一對一”輸出模式下和“

4、二進制”輸出模式下的關(guān)系我們指出了當分類規(guī)模k莖8時，利用mS『l092(忌1)]個“二進制”輸出神經(jīng)元的多重感知機，可等價地解決此問題，并進行了理論論證為達到優(yōu)化前饋神經(jīng)網(wǎng)絡(luò)隱層的目的，我們在第四章結(jié)合雙并聯(lián)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和快速學習機(ELM)，提出了雙并聯(lián)快速學習機，并推導(dǎo)了相應(yīng)的在線順序?qū)W習算法數(shù)值實驗表明，雙并聯(lián)快速學習機可以有效解決某些分類和回歸問題，和傳統(tǒng)的ELM相比，使用隱節(jié)點數(shù)大大減少，網(wǎng)絡(luò)的泛化性能也有所提高我們在第五章