基于Hadoop技術的電信大數據分析平臺的設計和實現.pdf

1、目前運營商的網絡建設的逐步成熟，3G業(yè)務的快速發(fā)展，網絡質量的好壞已成為電信運營商關注的重要課題，如何保證網絡的高質量，已成為最重要的運營商網絡優(yōu)化工作。要滿足這些需求就需要分析大量的數據，電信的無線PCMD話單和業(yè)務話單每天的數據量上TB級，原來的網絡優(yōu)化平臺由于架構上的限制對如此大的數據量越來越力不從心。為了對海量的數據進行分析處理，快速查詢統計達到對網絡情況精確了解，進行精準網絡優(yōu)化，因此建立一個大數據分析平臺勢在必行。Hadoo

2、p[1]架構是業(yè)內公認的處理海量數據的高性價比解決方案。這個方案提供了一種可以構建在普通PC服務器上的高可用性、高性能的分布式計算和存儲的方法。尤其適合于日志分析。因此開發(fā)一套基于Hadoop技術的電信大數據分析平臺是電信網絡優(yōu)化部門的很好的選擇。
　　本文首先介紹了當前的Hadoop技術的發(fā)展現狀，介紹了Hadoop技術及相關組件。重點對HDFS[2]，YARN[3]，Mapreduce[4]，Hive[5]，HBase[6]的

3、工作原理進行的介紹，描述了電信大數據分析時運用hadoop技術的優(yōu)勢。也為電信大數據分析平臺的設計和實現中運用這些技術打下一個基礎。
　　然后認真分析電信的用戶投訴快速處理，小區(qū)負荷分析,業(yè)務質量分析，故障排查，重大場景保障，業(yè)務占比分析，全網指標統計，用戶行為分析，主流業(yè)務分析等需求，以及分析電信大數據分析平臺所處的位置后，進行了系統總體設計。通過對需求的分類，利用Hadoop中不同組件的特性，發(fā)揮各自優(yōu)勢，用Hbase實現了快

4、速查詢功能，用Hive實現了快速統計分析功能。另外實現中間件為外部系統提供一系列API接口，使其可以使用數據平臺中的計算資源以及已經實現的數據分析算法等。
　　在各個功能的實現過程中根據電信數據的特性對Hbase數據庫的使用以及Hive表的使用進行了仔細規(guī)劃和設計。在已實現的功能的使用中發(fā)現有數據傾斜等情況，沒能完全發(fā)揮Hadoop的高并發(fā)的分布式系統的全部威力，根據各個任務情況和數據特性進行優(yōu)化和調整，最終得到了性能上的提升。<