大數據職業(yè)發(fā)展方向

1、大數據職業(yè)發(fā)展方向大數據職業(yè)發(fā)展方向一、大數據的概念及特點：大數據本身就是一個很抽象的概念，提及大數據很多人也只能從數據量上去感知大數據的規(guī)模，大數據被定義為“代表著人類認知過程的進步，數據集的規(guī)模是無法在可容忍的時間內用目前的技術、方法和理論去獲取、管理、處理的數據。大數據不是一種新技術，也不是一種新產品，而是一種新現象，是近來研究的一個技術熱點。大數據具有以下4個特點，即4個“V”：(1)數據體量(Volumes)巨大。大型數據集，

2、從TB級別，躍升到PB級別。(2)數據類別(Variety)繁多。數據來自多種數據源，數據種類和格式沖破了以前所限定的結構化數據范疇，囊括了半結構化和非結構化數據。(3)價值(Value)密度低。以視頻為例，連續(xù)不間斷監(jiān)控過程中，可能有用的數據僅僅一兩秒鐘。(4)處理速度(Velocity)快。包含大量在線或實時數據分析處理的需求，1秒定律。最后這一點也是和傳統(tǒng)的數據挖掘技術有著本質的不同。物聯網、云計算、移動互聯網、車聯網、手機、平板

3、電腦、PC以及遍布地球各個角落的各種各樣的傳感器，無一不是數據來源或者承載的方式。二、大數據處理流程：從大數據的特征和產生領域來看，大數據的來源相當廣泛，由此產生的數據類型和應用處理方法千差萬別。但是總的來說，大數據的基本處理流程大都是一致的。整個處理流程可以概括為四步，分別是采集、導入和預處理、統(tǒng)計和分析，最后是數據挖掘。三、大數據分解結構：第一層面是理論，理論是認知的必經途徑，也是被廣泛認同和傳播的基線。我會從大數據的特征定義理解行

4、業(yè)對大數據的整體描繪和定性；從對大數據價值的探討來深入解析大數據的珍貴所在；從對大數據的現在和未來去洞悉大數據的發(fā)展趨勢；從大數據隱私這個特別而重要的視角審視人和數據之間的長久博弈。第二層面是技術，技術是大數據價值體現的手段和前進的基石。我將分別從云計算、分布式處理技術、存儲技術和感知技術的發(fā)展來說明大數據從采集、處理、存儲到形成結果的整個過程。第三層面是實踐，實踐是大數據的最終價值體現。。2、分布式處理技術：——分布式處理系統(tǒng)可以將不

5、同地點的或具有不同功能的或擁有不同數據的多臺計算機用通信網絡連接起來，在控制系統(tǒng)的統(tǒng)一管理控制下，協(xié)調地完成信息處理任務這就是分布式處理系統(tǒng)的定義。目前最常用的是Hadoop技術，Hadoop是一個實現了MapReduce模式的能夠對大量數據進行分布式處理的軟件框架，是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop用到的一些技術有：HDFS:Hadoop分布式文件系統(tǒng)（DistributedFileSystem）HDFS（Had

6、oopDistributedFileSystem）MapReduce:并行計算框架HBase:類似GoogleBigTable的分布式NoSQL列數據庫。Hive:數據倉庫工具。Zookeeper:分布式鎖設施，提供類似GoogleChubby的功能。Avro:新的數據序列化格式與傳輸工具，將逐步取代Hadoop原有的IPC機制。Pig:大數據分析平臺，為用戶提供多種接口。Ambari:Hadoop管理工具，可以快捷的監(jiān)控、部署、管理集

7、群。Sqoop:用于在Hadoop與傳統(tǒng)的數據庫間進行數據的傳遞。3、存儲技術——大數據可以抽象的分為大數據存儲和大數據分析，這兩者的關系是：大數據存儲的目的是支撐大數據分析。4、感知技術——大數據的采集和感知技術的發(fā)展是緊密聯系的。以傳感器技術，指紋識別技術，RFID技術，坐標定位技術等為基礎的感知能力提升同樣是物聯網發(fā)展的基石。五、大數據人才方向：目前，大數據方面主要有五大人才方向：※大數據核心研發(fā)方向（系統(tǒng)研發(fā)）；※大數據性能調優(yōu)