基于Hadoop技術的軌道交通MSS系統(tǒng)數據存儲應用研究.pdf

1、隨著城市軌道交通事業(yè)飛速發(fā)展，軌道交通安全倍受關注，這必然會對維護管理提出更高的要求。維護支持系統(tǒng)應運而生，成為研究和應用的熱點。在維護管理的過程中，實時監(jiān)測的信號系統(tǒng)數據量與日俱增，遠遠超出傳統(tǒng)的數據庫存儲范疇，常規(guī)的數據存儲和數據處理方法遇到了瓶頸。云計算Hadoop作為一種新興計算模型，具有超大規(guī)模，高可擴展和高可靠性等特點，為上述問題的解決提供了新的思路。
　　本文首先在緒論中闡述了軌道交通MSS維護支持系統(tǒng)的重要性，以及

2、其與大數據結合會帶來很多增值服務。其次對MSS維護支持系統(tǒng)、數據存儲技術和Hadoop的研究現狀進行了詳細的歸納、總結。通過介紹MSS系統(tǒng)，分析該系統(tǒng)數據特點、結構，并且對比分析傳統(tǒng)軟件與Hadoop技術優(yōu)缺點，進一步明確了維護支持系統(tǒng)在數據存儲和查詢方面遇到的困擾，從而確定將Hadoop技術應用到MSS系統(tǒng)中用于可靠存儲、高效查詢和數據挖掘分析。
　　針對MSS系統(tǒng)不同的數據類型，結合Hadoop集群技術以及實際軟硬件實力，本文

3、提出一種基于Hadoop技術的MSS數據存儲設計。文章先后從存儲整體架構，HDFS文件存儲系統(tǒng)，HBase分布式數據庫等幾個方面對MSS結構化數據存儲進行深入研究。首先利用日志收集系統(tǒng)Flume對數據進行傳輸，總結了MSS數據在HDFS中的存儲方式。其次，設計基于HDFS的維護數據存儲模塊，舉例說明數據在HDFS中是如何讀取和寫入的，最后實現了數據存入HDFS系統(tǒng)中。根據MSS數據特點，本文又設計了MSS數據基元的HBase的存儲模型，

4、以具體ZC數據為例，建立HBase數據邏輯模型和物理模型，并且實現了數據寫入HBase數據庫中。
　　在理論基礎上，模擬搭建完全分布模式的Hadoop平臺環(huán)境，包括硬件環(huán)境和軟件環(huán)境。對系統(tǒng)性能進行分析以及測試Hadoop集群存儲性能，說明Hadoop技術應用到軌道交通MSS系統(tǒng)中是可行的，在數據存儲方面比傳統(tǒng)方式占優(yōu)勢，并且數據量越大，Hadoop優(yōu)勢越能體現出來。
　　最后，對論文工作進行總結，闡述了該論文的創(chuàng)新點以及文