数据分析与数据挖掘类的职位必备技能

大数据催生数据分析师 薪酬比同等级职位高20%

随着大数据在国内的发展，大数据相关人才却出现了供不应求的状况，大数据分析师更是被媒体称为“未来最具发展潜力的职业之一”。大数据分析师是做什么的?阿里巴巴集团研究员薛贵荣就曾表示，“大数据分析师就是一群玩数据的人，玩出数据的商业价值，让数据变成生产力。”而大数据和传统数据的最大区别在于，它是在线的、实时的、规模海量且形式不规整，无章法可循，因此“会玩”这些数据的人就很重要。有媒体报道，在美国，大数据分析师平均每年薪酬高达17.5万美元，而国内顶尖互联网公司，大数据分析师的薪酬可能要比同一个级别的其他职位高20%至30%，且颇受企业重视。

据了解，一所专业的数据分析公司必须拥有5人以上拥有资格证书的数据分析师方能注册，除了资格证书，其实实际开发能力和大规模的数据处理能力是作为大数据分析师的一些必备要素，“因为许多数据的价值来自于挖掘的过程，你要想到办法挖掘到数据并把它们玩出价值。”

数据分析师的职位划分

不同公司对数据分析师的职位划分稍有不同。在一些中小型企业，在没有成立独立的数据中心前，数据分析的相关职位往往是在市场部、运营部的管辖之下，人数通常在2-4人不等。对于一些大型企业，有独立的数据分析部门，团队成员也在数十人到百余人不等。对于职位头衔，有的按行政级别划分，如专员、主管、经理、总监等;也有的按专业水平划分，如助理、高级、资深、专家等。

数据分析职位整体上分为两大类：

数据分析师：

- 专业能力成长路径：助理数据分析师-数据分析师-资深数据分析师-高级数据分析师

- 行政职位晋升路径：数据分析专员-数据分析主管-数据分析经理-数据分析总监

- 主要专业技能要求：数据库知识(SQL)、基本的统计分析知识、熟练掌握Excel，了解SPSS/SAS，良好的PPT展示能力。

数据分析工程师：

算法工程师、建模工程师。

从事数据分析和数据挖掘工作，尤其是在互联网行业，主要需要四个方面的能力，即数据分析和数据挖掘的理论知识、统计分析工具应用、编程开发与数据结构算法的基础以及业务理解与沟通表达的能力。

上面的图里列出了这个行业不同类型的从业者特点。

A. 主要是负责做最顶尖数据统计和数据挖掘学习相关学术研究。比如发明一些新的算法，想早期的SVM，LDA最近的一些deeplearning模型。但是处在塔尖的的他们对于这些算法在业务场景的应用或者算法的实现兴趣并不大，主要精力都花在了理论研究上，比如证明个bounds什么的。写出来的东西大部分发表在NIPS或者ICML上，一般人也看不懂。他们主要存在于一些研究机构中，如国外高校或者企业研究院。一般企业如果需要这样的人，也是挖过来当震厂之宝吉祥物，不属于我们讨论的范围。

B. 他们既对算法有比较深入的了解，又有高超的编程技术。他们的数学可能达不到炉火纯青的地步，他们的兴趣也不在于各种繁琐的理论推导。他们对已有算法进行改进，并且给出最好的实现，造福广大人民群众，比如 libsvm，svdfeature，paramater server这样的工具。当然，这样的人才也是可遇不可求，而且他们也需要一个比较大的平台来施展自己的能力。他们的工作应该能够成为一个企业数据挖掘的大杀器。

成长路线图：

大数据工程师学习路线图

进阶推荐：

Hortonworks hadoop工程师认证

C. 他们既有理论知识，又有娴熟的业务思维，且熟悉各种统计应用工具，是企业做数据分析最佳人选。这类人属于企业的中层管理人才，最适合他们的岗位可能是数据分析师，BI或者数据产品经理，对数据分析理论技术工具都能熟练应用，EXCEL、SPSS、SAS熟练应用，且业务娴熟。

成长路线图：

数据分析师学习路线图

进阶推荐：

CDA建模分析师认证

D. 他们熟练应用统计工具，可能是SQL、SAS、R、或者Python高手，能将所有数据用最直观漂亮的报表呈现出来。他们不仅能熟练使用某种统计应用工具，且熟悉一点业务，是公司主要做数据分析的基层人员。

成长路线图：

R语言书籍导读

Python大数据学习之路

进阶推荐课程：

Hadoop大数据分析应用

CDA数据分析师认证

E. 对机器学习数据挖掘算法有一定了解，也有较强的开发能力。适合做偏向开发的数据挖掘岗位。他们和I类的工程师密切配合，应该能有比较好的产出。他们很可能是学校的应届毕业生，学习了一些理论知识，也锻炼了开发的能力，但还缺乏实际的工作经验。互联网的数据挖掘岗位正是他们大展拳脚的好地方。

成长路线图：

Hadoop工程师学习路线图

进阶推荐课程：

Hadoop大数据分析应用

Hortonworks hadoop认证

F.看起来是最好的，各项技能都很全面，也很适合做leader。但是这样的人毕竟可遇不可求。另外，每一项都好其实也就是每一项都不好，人的精力总是有限的。我觉得在一到两个方面做的比较突出，同时另外的方面也不要太弱以至于成为短板，这样就挺好的了。

不同类型的公司对数据分析和数据挖掘职位的需求

第一类：互联网公司

特征：用户喜欢什么?

需求：用户洞察、数据提取、实时数据分析

你的工作可能包括从MySQL数据库中提取数据，成为Excel数据透视表的高手以及生成最基本的数据可视化(如线和条形图)。你可能偶尔分析一下A/ B测试的结果或负责公司的谷歌分析(Google Analytics) 账户。这样的公司是一个有抱负的数据科学家学习入门技术的好地方。一旦你熟悉你的日常事务，这样的公司可以为你创造一个尝试新事物和扩大新技能的环境。

需求职位：统计分析员、数据分析师

第二类：金融公司

特征：请把我们的数据打包整理!

需求：发展数据基础设施、离线数据分析

目前很多公司所处的状态是，他们有大量的流量(日益庞大的数据量)，他们在找人建立能帮他们向前发展的数据基础设施，他们也找人来提供数据分析。你会看到这一类型的职位被列在“数据科学家”和“数据工程师”的职位列表里。因为你是第一个(或第一批之一)数据员工，可能比较容易出成果，所以你是一个统计专家或机器学习专家并不那么重要。一个拥有软件工程背景的数据科学家可能更容易在这样的公司有突出的表现，因为对这样的公司来说，更重要的是一个数据科学家能对产品代码做出更有意义的数据类的贡献并提供基本的见解和分析。在这样的公司，对初级数据科学家指导的机会可能更少。因此，你就会有很大的机会大放异彩，并且在磨练中成长，但是由于缺乏指导，你可能会面临更大的跌倒或停滞的风险。

需求职位：大数据工程师、数据分析师

第三类：BAT等数据平台企业

特征：我们就是数据，数据就是我们

需求：生产大数据驱动的产品、机器学习

还有许多公司，他们的数据(或他们的数据分析平台)就是他们的产品。在这种情况下，数据分析或机器学习的任务就会非常繁重。这可能对一个有正式的数学，统计学或物理学背景并希望继续走一条更学术的道路的人来说是更理想的环境。数据科学家在这样的环境中可能更专注于生产大数据驱动的产品，而不是回答公司业务问题。这一类的公司可能是面向消费者的拥有海量数据的公司或者以提供数据为基础的服务的公司。

需求职位：大数据工程师、数据分析师、数据挖掘工程师

第四类：其他数据驱动的非数据公司

特征：通过数据分析优化产品，提升产品竞争力

需求：数据处理、数据分析、数据可视化

很多公司都属于这一类。在这类公司中，你会加入一个由数据科学家组成的团队。你面试的公司关心数据，但可能不是一个数据公司。因此，进行数据分析，了解产品代码，将数据可视化等等，这些能力是同等重要的。一般来说，这些公司要么寻求通才，要么寻找一个能填补他们团队空缺的专才，比如数据可视化或机器学习方面的。面试这一类的公司的时候，比较重要的技能是熟悉“大数据”的专用工具(例如，Hive或Pig)以及有处理杂乱无章的真实数据集的经验。

职位需求：大数据工程师、数据分析师