大数据时代下催生众多热门职业

事实上，麦肯锡全球研究院的研究预测在未来6年，仅在美国本土就可能面临缺乏14万至19万具备深入分析数据能力人才的情况，同时具备通过分析大数据并为企业做出有效决策的数据的管理人员和分析师也有150万人的缺口。

Ventana研究公司的分析师David Menninger指出在其公司最近所作的一项调查显示，在169位公司高管中有四分之三的人认为技术人员缺乏是企业无从应对大数据挑战的重要因素。

Hadoop除了核心设计思想MapReduce和HDFS(Hadoop Distributed File System)外，Hadoop还包括了从类SQL查询语言HQL，到NoSQL HBase数据库(NoSQL数据库通常用来处理非结构化的数据，包括音频、视频等。)，以及机器学习库Mahout等内容。Cloudera、 Hortonworks和MapR都已在他们的分布式系统中加入了Hadoop项目。

而MapReduce编程模式可以被认作是云计算技术实现的灵魂。MapReduce是一种处理大型及超大型数据集并生成相关的的执行的编程模型，其主要思想是从函数式编程语言借鉴而来，同时包括从矢量编程语言借来的特性。

TechTarget的特约编辑Beth Stackpole就指出当今管理传统结构化数据环境的团队确实相当专业，但面对向Hadoop和MapReduce等开源大数据技术时则显得有些无从应对。导致这其中的原因是应对传统关系数据库的技能无法转化为应对大数据世界中海量非结构化数据的技能。而NoSQL数据库技术恰恰是根据新型平台核心构建的。

大数据时代的热门职业

大数据处理系统管理员

大数据处理系统管理员负责日常Hadoop集群正常运行。例如直接或间接的管理硬件，当需要添加硬件时需保证集群仍能够稳定运行。同时还要负责系统监控和配置，保证Hadoop与其他系统的有机结合。

大数据处理平台开发人员

大数据处理平台开发人员负责构建大数据处理平台以及用来分析数据的应用。由于其在开发领域已具备相关的经验，所以比较熟悉相关的工具或算法。这在编写、优化以及部署各种复杂的MapReduce的工作时会有所帮助。运用大数据相关技术的从业人员的作用类似传统数据库世界中DBA的定位。

数据分析和数据科学家

数据分析和数据科学家基本属于同一类别的工作，这些具备专业领域知识的人士研究相应的算法分析对应的问题，而数据挖掘也是其应掌握的重要技术。帮助创建推动业务发展的相应的大数据产品和大数据解决方案。

数据管家

企业要提高数据质量必须考虑任命数据管家。数据管家需利用Hadoop汇集企业周围的大量数据，并将数据通过ETL的过程被清洗和规范化，进入到数据仓库中，成为一个可用的版本。然后，通过报表和分析技术，数据被切片、切块，并交付给成千上万的人。担当数据管家保证市场数据的完整性，准确性，唯一性，真实性和不冗余。

虽然现今面临技术人员匮乏的状况，但也并非绝望。Cloudera公司的Omer Trajman就指出Hadoop做为大数据技术的解决方案并不像学习如何制造火箭那样困难。几年前，了解Hadoop的人还寥寥无几，但现在越来越多的人开始学习Hadoop。企业应当鼓励并培养技术人员学习Hadoop技术。