从职业发展角度谈大数据初入者该做些什么？

大数据方向实习生到底该做些什么?

最近逃离学校在某大数据公司实习，虽然我不认为大数据像现在很多人说的那么邪乎，但是我认为互联网时代所带来的大量数据是很有价值的。所以便在这个公司做实习生，已经一个多星期了，都是做一些简单的搜索，排序，去重的活。excel就完全搞定了。

每天需要找的东西毫无技术含量，却挺耗费时间。不知道这是不是实习的融入期。大三就逃离学校，冒的风险也挺大的。我该学点什么，做点什么准备才能让未来走的更快。毕业目标，在北上广年薪10w+这个目标容易实现么，需要具备什么样的素质。

Excel2013目前可以支持104万行数据，即使是这样也远远算不上大数据。

以下是华院数据整理的2015年大数据相关公司排名

话说回来，对于一个实习生来说，让你处理Excel不能说不合理，因为Excel处理是数据分析的基础中的基础，拉拉数据透视表，写写vlookup等函数甚至用vb写一些自动化，一旦熟悉了对于你的数据分析是大有卑益的!还别说，一般公司的数据分析师岗位或者说一些市场调研公司还就只是要求会Excel和PPT。

说到薪资，对于北上广来说10W+是应届毕业生的程序员职位的起薪，如果你仅会Excel，去一些靠谱的市场调研公司做数据分析，大一点的公司如尼尔森、华通明略这种可以拿到6K左右的薪资，6*13就是8W左右了，如果你想去BAT这种公司里边做数据分析，只会Excel是不够的，你还需要至少懂点SPSS或者R，当然如果能进去的话10W+是有的。

个人建议的话，最好不要为了钱而去学一样东西，这样内在驱动力不会大到让你走得比别人快，尽快确定一个感兴趣的方向，随着大数据概念的兴起以及企业的越加重视，数据相关的岗位细分越来越多，每一个细分都足够你好好钻研个10年+。

看到评论区有人问到是否会SPSS就可以进BAT做数据分析，答案是肯定的，并不是说进BAT一定要会撸代码，因为随着数据职位的细分，互联网公司需要一些有产品思维并且略有统计背景的人来做数据分析，以下贡献一张图。

我喜欢根据职位离业务端(如产品、运营、销售等)的远近以及离技术端(开发部门)的远近来描述职位，可以看到，在不同的位置都有数据相关的职位

说说市场调研，这种职位是最靠近业务的，他们的工作主要是调研外部数据，比如产品目标用户的情况，竞争对手的情况，整个行业的情况等，为产品的每一个改版提供数据支撑，对于互联网公司来说这种职位一般会放在UED(用户体验部)或者产品部下面，日常工作比如去各个城市开用户访谈会，用调研问卷的形式收集用户数据，打用户调研电话，设计访谈问卷等，岗位要求不会涉及到编程，一般的要求就是统计学基础知识，EXCEL跟PPT，SPSS懂一些更好，BAT及其他中小型互联网公司都有岗位招聘。

对于这种类型的岗位，建议一开始可以去咨询公司，市场上有非常多好的咨询公司可以选择，比如全球最大的尼尔森、华通明略、易普索、盖洛普之类，互联网行业的有艾瑞、艾媒、易观之类，都是不错的选择。从职业发展道路来讲，市场调研除了是各个行业普适的职位之外(快速消费品行业对市场调研的需求量很大)，在大公司纵向发展可以做到市场调研总监，横向发展可以去做品牌经理或者互联网公司产品策划类的产品经理。

数据分析师，各行各业都有做数据分析的岗位，但估计是最近1,2年在互联网公司才有数据分析师这个title的职位出现，之前一直是产品经理或者运营经理在做数据分析的活，之所以细分出来是因为随着数据量越来越大以及数据价值的凸显，做数据分析的门槛越来越高，举个例子，做数据分析你需要取数据吧，取数据一般需要写SQL语句从数据库里取，你让一个产品经理或者运营经理去写SQL估计有些难度，当然技术出身的除外。

另外说到分析，数据量大的话Excel总归不好分析，你得会点能处理大数据量的工具如SAS或者R，如果是SAS的EG模块还可以图形化操作，如果是R的话就是纯编程了，所以我认为数据分析岗位有30%在于技术，是因为在数据处理层面它需要涉及很多大数据量的操作。

从业务端来看，数据分析师的价值在于能够为公司搭建数据流，通过数据来对产品功能进行反馈，支持日常的业务部门取数，以及为产品改版提供数据支撑，做到这些你需要跟进整个数据流从头到尾的流动过程，源头端比如产品开发时候的数据埋点，你需要跟产品经理及开发沟通哪个功能需要上报哪些数据，有数据上报了你需要跟进这些上报的数据要录入哪个数据库的哪张表，数据录入口径怎么定，数据存在数据库了你需要让这些数据产生价值，除了业务部门跑来跟你要数据之外，你需要主动地定一些分析课题，自己取数自己用工具进行分析，最后写成PPT呈现给业务部门并最终影响决策，如果业务部门的取数任务多了，你需要思考怎么去将这些重复性的取数工作形成报表，自动化地呈现数据，这时你需要去跟后端开发以及数据仓库的人沟通，并从头到尾跟进报表的实现。

另外有一种职位叫数据产品经理，它跟数据分析师的职责有重叠的部分，不同的地方是这个职位关注的点是数据分析的产品化。这是普通互联网公司数据产品经理的日常：

在大的互联网公司，产品经理有各种细分的，有偏向功能界面设计的产品经理，这类型的产品经理关注的是产品界面的美观吸引，他们要会用Axure画各种界面按钮，最好有绘画功底，他们跟数据相关的地方在于需要通过数据反馈来改进产品界面;有偏向功能实现的产品经理，这类型的产品经理关注的是产品功能实现是否满足用户预期，效率是否够高，实现步骤是否够短，他们要求最好有技术背景，能了解开发的各种实现逻辑，他们跟数据相关的地方在于需要通过数据反馈来提高功能实现的成功率，降低崩溃率以及提高实现速度;前面两者都是属于前端的产品经理，而后端的产品经理除了帮助各个部门搭建管理平台的产品经理外，剩下的就是数据产品经理了。

从以上可以看到，产品经理有各种细分，而数据产品经理也有他不一样的要求和关注点。

这是智联上某公司数据产品经理的职位描述：

职位描述：

1) 负责门户端、APP端数据统计产品开发及推荐算法迭代等相关工作，独立负责产品线的日常迭代工作，以数据为导向对运营结果负责。

2) 监管全部产品核心KPI数据，可对运营团队及时输出价值数据。

3) 负责产品上线后的数据管理和运营工作，对相关数据进行持续监控和分析，并定期对自身产品、整体行业、竞争对手等进行数据分析并评估，不断优化产品，完成产品生命周期管理。

4) 汇报项目核心数据指标和项目进度，对产品生命周期内各项指标负责。

5) 负责产品的持续运营，不断优化、改进、迭代，深度挖掘用户需求。

从以上描述可以看到该数据产品经理职位有三个关注点：一是数据统计后台;二是推荐系统;三是对产品数据的监控和分析。那么延伸出来该职位的要求应该是对数据要敏感，了解一定的数据挖掘算法，于是一个数学或统计学的学位会有所助益。

下图简单地从背景以及工作中打交道的人来区分数据产品经理和其他产品经理：

终于说到数据挖掘工程师了，在数据相关职位里，我认为数据挖掘和数据架构门槛最高，也是最能体现数据价值的职位。大部分公司在招聘数据挖掘工程师时的门槛都是数学、统计学或者计算机的硕士以上，为什么本科不行非要硕士?大部分企业认为，只有4年的本科学习不足以理解数据挖掘相关算法的推导以及应用场景，要做好数据挖掘，除了坚实的数学和统计学基础之外，算法的代码实现也是很重要的考察地方。

数据挖掘何以门槛这么高，他对企业真有那么高的价值么?如果将其应用场景搬出来便知分晓。某音乐公司A成立多年，一直以界面小清新用户体验绝佳著称，可惜多年来对音乐版权的重视程度不够，导致用户因下载不了喜欢的歌曲而频频流失。后来公司痛定思痛，决定另辟蹊径于是重金聘请了一支数据挖掘工程师团队，打造了音乐界最好的推荐系统，一下子挽回了大量用户，现在用户占有率稳居行业前三。

是的，推荐系统可以说是数据挖掘最重要的应用场景，最初来源于电商网站的浏览了该商品的用户还浏览了什么，购买了该商品的用户还购买了什么，现在发展到各种复杂的特征度提取并从各个维度来计算相关性。很多著名的数据挖掘算法，如朴素贝叶斯、神经网络、逻辑回归等，都需要扎实的统计学基础以及相关项目经验才能成熟地应用于业务实践。

数据挖掘是随着大数据技术的发展而崛起的一门职业，过去由于技术的局限，很多时候只能通过抽样来选取训练数据，导致最后通过算法出来的预测概率只有60%左右，而大数据的成熟让工程师能够对接近全量的数据进行建模，导致最后出来的预测概率能达到80%甚至90%，从而更能体现数据挖掘的价值。从职业发展角度来说，BAT是最适合做数据挖掘的地方，巨量的数据，对技术的重视甚至崇拜以及成熟的应用场景让数据挖掘工程师如鱼得水。一个硕士毕业并有1,2年工作经验的数据挖掘工程师在互联网行业能轻易拿到25K往上的月薪。