基于Storm的訂單大數據實時監(jiān)控系統(tǒng).pdf

1、大數據時代，實時有效地收集海量訂單數據，幫助企業(yè)智慧地從數據中獲取目標信息，能夠更加有效的、有條理的制定相關業(yè)務的發(fā)展和改進方向，企業(yè)可以通過對海量數據進行二次開發(fā)利用，進一步地總結和處理數據，最終制定出更加符合用戶需求、更加適用于市場的設計方案。Storm作為一套高效的、安全的、實時的大數據處理引擎被本系統(tǒng)使用，NoSQL數據庫Elasticsearch和MongoDB則能滿足對海量數據的高效存儲與查詢。本論文將基于Storm、Kaf

2、ka、NoSQL數據庫Elasticsearch和MongoDB設計和實現訂單大數據的實時監(jiān)控系統(tǒng)。
　　系統(tǒng)將主要的數據保存在Elasticsearch中，將一些配置參數和時間戳數據保存在MongoDB中；文件系統(tǒng)使用HDFS；采用Scala語言來編寫代碼；使用分布式消息隊列Kafka來連接Storm中不同功能的拓撲，提高了系統(tǒng)的可靠性。在數據處理過程中，執(zhí)行的操作名稱、時間節(jié)點和部分中間結果會被記錄到系統(tǒng)日志中，以便解決系統(tǒng)錯

3、誤和提升系統(tǒng)性能，平臺處理后的重要結果，可以通過Web頁面以多種圖和表的形式向用戶展示，該展示網站具備搜索引擎，能夠通過關鍵字和特定規(guī)則的語句搜索目標數據，還支持點擊圖標和標簽進行快捷查找。
　　整套系統(tǒng)部署在分布式集群中，具有高實時性、高效率、高容錯性、可擴展等特點，結果數據展示網站功能強大，界面清晰簡潔，用戶體驗很好，平臺可以實時地監(jiān)控海量數據信息的變化，從結構混合、復雜的、規(guī)模龐大的數據中，通過智能化的方法，挖掘出有價值的信