數(shù)據(jù)集中相關(guān)關(guān)系的評(píng)估與發(fā)掘.pdf

1、大數(shù)據(jù)時(shí)代最重要的不在于“大量的數(shù)據(jù)”，而在于思維的變革，變革之一即是從注重因果關(guān)系到注重相關(guān)關(guān)系。因果關(guān)系即是“為什么”，是導(dǎo)致事物發(fā)生的根本原因，而這常常是難以捉摸的，晦澀艱深的，甚至是不可得知的。相關(guān)關(guān)系即是“是什么”，即是事物之間的依存關(guān)系，相比因果關(guān)系，這要容易探知，而且在大部分情況下能夠替代因果關(guān)系的作用。相關(guān)關(guān)系的評(píng)估與發(fā)掘已經(jīng)或正在影響著數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、知識(shí)發(fā)現(xiàn)等廣闊領(lǐng)域的發(fā)展。
　　傳統(tǒng)的相關(guān)關(guān)系評(píng)估方法包括

2、相關(guān)系數(shù)、互信息、機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘里面的一些相關(guān)性度量方法，然而這些方法具有很大的局限性，不能夠?qū)Ψ蔷€性等更寬泛更一般的相關(guān)關(guān)系進(jìn)行公平地評(píng)估，新近提出的統(tǒng)計(jì)量MIC能夠有效的評(píng)估兩變量相關(guān)關(guān)系，然而卻無(wú)法在多項(xiàng)式時(shí)間計(jì)算求解，且直到目前為止，仍缺乏多變量相關(guān)關(guān)系評(píng)估和發(fā)掘的有效方法。
　　針對(duì)上述問(wèn)題，本文提出了一種衡量?jī)勺兞肯嚓P(guān)關(guān)系強(qiáng)度的統(tǒng)計(jì)量ARTMIC（交替遞歸型拓?fù)渥畲髽?biāo)準(zhǔn)化互信息），以及其它一些衡量關(guān)系性質(zhì)的統(tǒng)計(jì)量。

3、這些統(tǒng)計(jì)量能夠有效而公平地評(píng)估包括線性和非線性關(guān)系在內(nèi)的較為寬泛的相關(guān)關(guān)系，并且彌補(bǔ)了Reshef所提出的統(tǒng)計(jì)量(MIC)無(wú)法在多項(xiàng)式時(shí)間精確求解的缺陷，解決了MIC不能識(shí)別“局部隨機(jī)”現(xiàn)象的問(wèn)題。使用ARTMIC等統(tǒng)計(jì)量分析了美國(guó)自1959年至2013年的19個(gè)典型指標(biāo)的數(shù)據(jù)集，發(fā)現(xiàn)了一些新穎的兩變量相關(guān)關(guān)系。
　　此外，借助化學(xué)體系的思想，提出了“理想相關(guān)體系”的多變量相關(guān)關(guān)系框架，探討了兩者的映射關(guān)系。通過(guò)證明三個(gè)互信息分解