數(shù)據(jù)預(yù)處理系統(tǒng)的幾個(gè)關(guān)鍵技術(shù)研究與實(shí)現(xiàn).pdf

1、隨著數(shù)據(jù)庫技術(shù)和企業(yè)信息化的發(fā)展，企業(yè)之間積累了大量用于事務(wù)管理和數(shù)據(jù)分析的數(shù)據(jù)，如何有效利用這些數(shù)據(jù)，成為企業(yè)最關(guān)注的問題.在這樣的背景下，數(shù)據(jù)挖掘技術(shù)應(yīng)運(yùn)而生，它的目的就是如何從海量數(shù)據(jù)中提取出極為寶貴的信息。然而，由于每個(gè)數(shù)據(jù)庫自身獨(dú)特的架構(gòu)設(shè)計(jì)，數(shù)據(jù)的采集錯(cuò)誤、錄入時(shí)產(chǎn)生的隨機(jī)誤差，數(shù)據(jù)的維護(hù)不當(dāng)?shù)仍颍沟脭?shù)據(jù)中不可避免地存在一定的問題.此外，數(shù)據(jù)量的劇增也給數(shù)據(jù)挖掘任務(wù)帶來很大的困難.這些問題在很大程度上影響著數(shù)據(jù)挖掘任務(wù)的

2、成敗.因此，在進(jìn)行挖掘任務(wù)前有必要提高數(shù)據(jù)的質(zhì)量，即進(jìn)行數(shù)據(jù)預(yù)處理。
　　本文首先介紹了數(shù)據(jù)預(yù)處理的基本知識(shí)，了解預(yù)處理的各個(gè)主要任務(wù)，詳細(xì)介紹了一般數(shù)據(jù)預(yù)處理系統(tǒng)的組成。本文針對各數(shù)據(jù)挖掘平臺(tái)數(shù)據(jù)格式的不統(tǒng)一、數(shù)據(jù)清理過程的不完善、冗余數(shù)據(jù)的繁多以及數(shù)據(jù)挖掘任務(wù)對數(shù)據(jù)類型的要求不同等問題，研究與實(shí)現(xiàn)了其中幾個(gè)關(guān)鍵的技術(shù)。
　　本文的主要工作是，介紹了數(shù)據(jù)預(yù)處理系統(tǒng)的已實(shí)現(xiàn)部分和本文所實(shí)現(xiàn)的部分。接著對XML描述的數(shù)據(jù)格式進(jìn)

3、行了詳細(xì)說明，提出一種基于XML模式定義的XML數(shù)據(jù)格式，并對XML的解析方式進(jìn)行了比較，提出一種處理大量數(shù)據(jù)集合的分批處理方法。然后對相似性度量算法進(jìn)行了描述和對比，指出算法存在的問題和改進(jìn)方法，并提出一種考慮數(shù)值分布的距離度量算法和一種改進(jìn)的余弦相似度算法，用來對數(shù)值型數(shù)據(jù)進(jìn)行相似性度量。最后，本文對離散化算法進(jìn)行了分析，提出一種基于相似性度量的離散化算法。通過這幾種技術(shù)的研究與實(shí)現(xiàn)，極大地豐富了數(shù)據(jù)預(yù)處理系統(tǒng)的功能，更加滿足了數(shù)據(jù)