从麦肯锡报告谈BigData高薪就业前景

发布时间：2020-12-14 05:04:48 所属栏目：大数据来源：网络整理

导读：? ? ? 全球最顶尖管理咨询公司麦肯锡 (McKinsey)出具的一份详细分析报告显示，预计到2018年，大数据或者数据工作者的岗位需求将激增，其中大数据科学家的缺口在 140,000 到 190,000 之间，对于懂得如何利用大数据做决策的分析师和经理的岗位缺口则将达 1,50

? ? ? 全球最顶尖管理咨询公司麦肯锡(McKinsey)出具的一份详细分析报告显示，预计到2018年，大数据或者数据工作者的岗位需求将激增，其中大数据科学家的缺口在140,000到190,000之间，对于懂得如何利用大数据做决策的分析师和经理的岗位缺口则将达1,500,000。

? ? ? 事实上，大数据工作者可以施展拳脚的领域非常广泛，从国防部、互联网创业公司到金融机构，到处需要大数据项目来做创新驱动。数据分析或数据处理的岗位报酬也非常丰厚，在硅谷，入门级的数据科学家的收入已经是6位数了(美元)。

什么是大数据

? ? ? 大家对大数据的定义不尽相同，但作为学习者和使用者来说，如何使用大数据工具和技术从大数据中提取、分析出有价值的信息和数据，指导各个行业用户做出准确决策才是更值得关系的。还是先扯一下大数据的4V特征：

? ? ? 数据量大，TB->PB；

? ? ? 数据类型繁多，结构化、非结构化文本、日志、视频、图片、地理位置等；

? ? ? 商业价值高，但是这种价值需要在海量数据之上，通过数据分析与机器学习更快速的挖掘出来；

? ? ? 处理时效性高，海量数据的处理需求不再局限在离线计算当中。

? ? ? 现如今，正式为了应对大数据的这几个特点，开源的大数据框架越来越多，越来越强，先列举一些常见的来看看。

? ? ? 文件存储：Hadoop HDFS、Tachyon、KFS
? ? ? 离线计算：Hadoop MapReduce、Spark
? ? ? 流式、实时计算：Storm、Spark Streaming、S4、Heron
? ? ? K-V、NOSQL数据库：HBase、Redis、MongoDB
? ? ? 资源管理：YARN、Mesos
? ? ? 日志收集：Flume、Scribe、Logstash、Kibana
? ? ? 消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ
? ? ? 查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid
? ? ? 分布式协调服务：Zookeeper
? ? ? 集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager
? ? ? 数据挖掘、机器学习：Mahout、Spark MLLib
? ? ? 数据同步：Sqoop
? ? ? 任务调度：Oozie

? ? ? 等等等等，一下子眼花了吧，这么多技术和工具，别说精通了，全部都会使用的也估计也没几个人。所以说术业有专攻，学习大数据也一样，首先要选中自己感兴趣或发力的方向。

大数据专业如何学

? ? ? 当然先从Hadoop入手，关于Hadoop，你至少需要搞清楚Hadoop 1.0、Hadoop 2.0，MapReduce，HDFS，NameNode、DataNode，JobTracker、TaskTracker，Yarn、ResourceManager、NodeManager等。

需要掌握的编程语言

Java
Python
R
Scala等

?需要掌握的数据能力

数据获取：日志收集Sqoop、Flume、Kafka和爬虫等；
数据计算：实时数据计算流式计算的storm,spark streaming等；以及离线数据计算的HIVE、SPARK、MapReduce、基本算法、数据结构等；
数据存储：HBase、HDFS等；
数据挖掘：机器学习相关算法，聚类、时间序列、推荐系统、回归分析、文本挖掘、贝叶斯分类、神经网络等。

大数据领域三个技术方向

? ? ? 其实大数据发展和就业主要有三个发展方向，平台搭建/ 优化/ 运维/ 监控、大数据开发/ 设计/ 架构、数据分析/挖掘。