面向分布式環(huán)境的數(shù)據交互與存取模型研究.pdf

1、分布式環(huán)境下異構系統(tǒng)間的數(shù)據交互與共享技術，是分布式領域的關鍵技術之一。伴隨網絡結構的日趨復雜以及網絡規(guī)模的日益擴大，具有分布式特點的異構環(huán)境不斷增加，各種數(shù)據量也隨之劇增，“信息孤島”問題愈演愈烈。美國互聯(lián)網數(shù)據中心研究表明，互聯(lián)網數(shù)據每年將增長50％，兩年便可翻倍;目前，最近幾年所產生的數(shù)據占世界數(shù)據總和的90％以上。綜上所述，系統(tǒng)的分布式特點和數(shù)據量的劇增，使人們逐步進入信息化、大數(shù)據時代，系統(tǒng)內或系統(tǒng)間的數(shù)據交互在可靠性、靈活性

2、和實時性等方面尚有許多不足。目前，我國教育信息化建設在基礎設施和資源建設方面已初具規(guī)模，但在一體化信息建設方面尚顯不足，亟需一套比較完善的數(shù)據交互和共享類產品。
　　為了滿足上述不足，本文面向分布式環(huán)境下的數(shù)據交互與海量數(shù)據存取領域進行研究。在數(shù)據交互方面，首先，借鑒數(shù)據庫同步復制機制，并結合差異同步法，提出以事務為單位的基于更新日志的數(shù)據同步法;通過對事務操作進行監(jiān)聽，將成功執(zhí)行的事務對應的數(shù)據變更操作，拆分為對應的原子SQL操

3、作，并分析各個操作間的關系;提出日志項合并算法，對各操作進行合并，之后寫入更新日志。然后，基于已有的數(shù)據傳輸與同步方案，使用消息中間件技術，提出基于發(fā)布/訂閱的數(shù)據傳輸模型，用于傳輸更新日志實現(xiàn)數(shù)據交互。最后，將三者結合，提出面向分布式環(huán)境的通用數(shù)據交互接口模型。在數(shù)據存取方面，基于關系數(shù)據庫為主、NoSQL為輔的架構，提出關系數(shù)據庫為主、NoSQL為高速緩存的數(shù)據存取模型;通過創(chuàng)建一個數(shù)據庫字段訪問頻率函數(shù)和閾值，將訪問頻率大于閾值的

4、字段存儲到NoSQL，從而提高了緩存命中率。數(shù)據交互接口模型和數(shù)據存取模型共同組成數(shù)據交互與存取模型，本文將該模型應用于學位信息上報部分作為應用實例，設計并實現(xiàn)了通用學位信息上報組件。在該實例中，通過變更數(shù)據捕獲器捕獲高校端變更的學位信息，使用合并算法將變更的數(shù)據壓縮后寫入更新日志;然后，利用組代理消息中間件傳輸日志到學位中心端，通過更新監(jiān)聽器解析執(zhí)行更新日志內容，將變更數(shù)據同步到關系數(shù)據庫;最后，學位中心端同步控制器將關系數(shù)據庫的變更