電力系統(tǒng)大數據屬性約簡研究.pdf

1、伴隨著工業(yè)及社會信息化程度的增強，各個領域的自動化程度越來越高，大規(guī)模及超大規(guī)模海量數據應運而生，呈現(xiàn)出大數據特征。這些海量數據在提升行業(yè)發(fā)展動力的同時，也帶來了巨大的挑戰(zhàn)性問題—數據可用性。為了從海量數據中甄別無用信息、挖掘出有益于相關領域發(fā)展的有價值信息，就需要對其進行數據分析。數據預處理技術可以極大地減少分析數據時的數據處理量，提高數據分析處理的效率，而屬性約簡在數據預處理中是一個比較重要的環(huán)節(jié)。又因為電力系統(tǒng)的運行與監(jiān)測環(huán)節(jié)所產

2、生的數據類型多、數量大，呈現(xiàn)出大數據的特征，故需要對這類數據進行有效地屬性約簡才能適當使用?，F(xiàn)有的基于現(xiàn)代啟發(fā)式優(yōu)化技術如遺傳算法的約簡方法存在覆蓋面較窄、算法復雜度高等缺點，無法有效應用于電力大數據處理領域。
　　本文分析非并行化屬性約簡算法、并行化屬性約簡算法的國內外研究現(xiàn)狀，首先對現(xiàn)有的并行化屬性約簡算法進行了性能分析，其存在算法復雜度偏高，約簡信息易丟失等問題，而傳統(tǒng)的非并行化屬性約簡算法又同時存在內存瓶頸難題，無法約簡海

3、量數據。然后結合電力系統(tǒng)大數據的特征，著眼于并發(fā)事件間的獨立性，綜合利用MapReduce的可并行化優(yōu)點及偏序算法的可并行性，給出了電力大數據偏序約簡的形式化描述。最后給出了電力系統(tǒng)屬性偏序約簡的算法設計，并根據電力數據集中決策屬性不同取值個數多少的實際情況分別給出了兩種約簡方案，方案1，如果決策屬性的取值種類較多，則可以選擇算法1和算法2；方案2，如果決策屬性的取值種類較少，則可以選擇算法1和算法3；但是，為了提高數據預處理的效率，在