探索高深的分析技能——数据挖掘

（一）并不神秘的数据挖掘

1、什么是数据挖掘？

有些朋友认为，数据挖掘需要掌握高深的分析技能，高深的算法，需要掌握程序开发，这样，就能把数据挖掘工作做好，实际上不是这样的。着魔于高深的算法和程序开发，只能让你走火入魔。在工作中，最好的数据挖掘工程师是一定是最熟悉和理解业务的人。

2、数据挖掘与数据分析的区别

数据分析与数据挖掘的界定非常的模糊。但有一点可以确定，数据分析输出的是统计结果，比如总计，平均值等，数据挖掘输出的是模型或规则，工作中，仅此一点区别，而已。

（二）通过经典案例来学习数据挖掘，以达到触类旁通

对于数据挖掘的学习心得，jacky认为学习数据挖掘一定要结合业务背景、案例背景来学习，这样才是以解决问题为导向的学习方法。那么，大体上，数据挖掘经典案例有以下几种：

1、预测未来一段时间用户是否会流失 

2、某个促销活动用户是否会响应参加

3、评估用户信用度是好还是差

4、细分现有的目标市场

5、对现有客户群进行群体细分

6、提升商品销售及交叉销售

7、一群用户购买了很多商品之后，哪些商品同时购买的几率比较高

8、预测未来的销量

9、天气预报中预测明天的气温是怎样的

10、国家的年底规划中，预测明年的GDP增长率是怎样的

数据挖掘要做的就是把上述类似的商业问题转化为数据挖掘问题

那么，问题来了，我们该如何把上述的商业问题转化为数据挖掘问题呢？我们可以对数据挖掘问题进行细分，分为四类问题：分类问题、聚类问题、关联问题、预测问题；

1、分类问题

用户流失预测、促销活动响应，评估用户度都属于数据挖掘的分类问题，我们需要掌握分类的特点，知道什么是有监督学习，掌握常见的分类方法:决策树、贝叶斯、KNN、支持向量机、神经网络和逻辑回归等；

2、聚类问题

细分市场，细分客户群体都属于数据挖掘的聚类问题，我们要掌握聚类特点，知道无监督学习的概念，了解常见的聚类算法，例如划分聚类、层次聚类、密度聚类、网格聚类、基于模型聚类等。

3、关联问题

交叉销售问题等属于关联问题，关联分析也叫购物篮分析，我们要掌握常见的关联分析算法：Aprior算法、Carma算法，序列算法等

4、预测问题

我们要掌握简单线性回归分析、多重线性回归分析、时间序列等

（三）用何种工具实操数据挖掘

能实现数据挖掘的工具和途径实在是太多了，SPSS、SAS、Python、R等等都可以，但是我们需要掌握哪个或者说我们要掌握哪几个，才算学会了数据挖掘呢？这需要看我们所处的层次和我们想要进阶的路径是怎样的。

1、达到理解入门层次

了解统计学和数据库即可

2、达到初级职场应用层次

数据库＋统计学＋SPSS（也可以是SPSS代替软件）

3、达到中级职场应用层次

SAS或R

4、达到数据挖掘师层次

SAS或R＋Python(或其他编程语言)

（四）如何利用Python学习数据挖掘

只要能解决实际问题，用什么工具来学习数据挖掘都是无所谓的，这里jacky首推Python。那么，我们该如何利用Python来学习数据挖掘呢？我们需要掌握Python中的哪些知识呢？

1、Pandas库的操作

 Panda是数据分析特别重要的一个库，我们要掌握以下三点：

 1）pandas 分组计算；

 2）pandas 索引与多重索引；

 索引比较难，但是却是非常重要的

 3）pandas 多表操作与数据透视表

2、numpy数值计算

 numpy数据计算主要的应用是在数据挖掘，对于以后的机器学习，深度学习，这也是一个必须掌握的库，我们要掌握以下内容：

 1）Numpy array理解；

 2）数组索引操作；

 3）数组计算；

 4）Broadcasting(线性代数里面的知识)

3、数据可视化－matplotlib与seaborn

1）Matplotib语法

python最基本的可视化工具就是matplotlib。我们咋一看Matplotlib与matlib有点像，我们要搞清楚二者的关系是什么，这样我们学习起来才会比较轻松。

2）seaborn的使用

seaborn是一个非常漂亮的可视化工具。

3）pandas绘图功能

我们说过pandas是做数据分析的，但它也提供了一些绘图的API。

4、数据挖掘入门

这部分是最难也是最有意思的一部分，要掌握以下几个部分：

1）机器学习的定义

在这里跟数据挖掘先不做区别

2）代价函数的定义

3）Train/Test/Validate

4) Overfitting的定义与避免方法

5、数据挖掘算法

数据挖掘发展到现在，算法已经非常多了，下面只需掌握最简单的，最核心的，最常用的算法；

1）最小二乘算法；

2）梯度下降；

3）向量化；

4）极大似然估计；

5）Logistic Regression

6) Decision Tree

7) RandomForesr

8) XGBoost

6、数据挖掘实战

通过机器学习里面最著名的库scikit-learn来进行模型的理解。

以上，就是jacky为大家厘清的数据挖掘学习逻辑。可是，这还仅仅是开始，在通往数据挖掘师与数据科学家的道路上，我们还要学习文本处理与自然语言的知识、Linux与Spark的知识、深度学习的知识等等，我们要保持持续的兴趣来学习数据挖掘。

数据挖掘的路上，你准备好了吗？2017，跟我一起，来逆袭吧