知识贴：Apache Hadoop常见问题解答

过去几年来，开源技术 Apache Hadoop 在 BI 和数据仓库专业人士当中已经变得相当流行。在本篇教程中，我们将通过回答一些关于 Hadoop 的常见问题来解释它的概念。

什么是 Apache Hadoop？

Apache Hadoop 是一款免费的，基于 Java 的编程框架，专为分布式计算环境下的超大数据量并行处理而设计。Hadoop 支持以容错方式扩展，可以从一台计算机扩展到数千台。这种扩展性意味着处理集群中的个体计算机可以是比较廉价的，而集群本身也很有弹性。有了 Hadoop，应用程序可以在成千上万个处理节点上处理 PB 级的数据量。

谁为 Hadoop 提供支持和资金呢？

Hadoop 是 Apache 软件基金会的项目之一。为 Hadoop 项目提供主要贡献的是来自全球的开发者们。Hadoop 子项目由世界上最大的互联网公司支持，包括 Facebook 和雅虎。

为什么 Hadoop 会如此流行？

Hadoop 之所以流行，部分原因是因为世界上最大的互联网企业都在用它来分析非结构化数据，这是不争的事实。Hadoop 支持分布式应用处理数千 EB 的数据。

Hadoop 适用于哪些业务场景？

Hadoop 作为一款并行数据处理可扩展系统，对于分析大数据集非常有用。例如：搜索算法，市场风险分析，网上零售数据挖掘，用户行为分析。Hadoop 的扩展性对企业很有吸引力，因为他们处理的数据都有指数级增长的特性。Hadoop 的另一个核心竞争力是它可以处理结构化数据和非结构化数据，支持各种数据源。

企业选择 Hadoop 有何挑战？

1. 对许多企业来说，Hadoop 框架很有吸引力，因为它给企业提供了分析数据的能力，不管数据量有多大。然而，不是所有企业都拥有专业能力来进行分析并产生商业价值的。

2. 扩展和优化的 Hadoop 计算集群涉及大量编程工作，这对数据分析开发人员来说可能会有一定的障碍。

3. Hadoop 的设计原本并不具备太多安全功能，而这一点对于敏感企业数据通常也是必须要求的。

4. 其它问题还包括与现存数据库和应用的集成，并且缺乏全行业范围内的最佳实践。

Hadoop 发展历程是怎样的呢？

Hadoop 原本来自于谷歌一款名为 MapReduce 的编程模型包。谷歌的 MapReduce 框架可以把一个应用程序分解为许多并行计算指令，跨大量的计算节点运行非常巨大的数据集。使用该框架的一个典型例子就是在网络数据上运行的搜索算法。

Hadoop 最初只与网页索引有关，迅速发展成为分析大数据的领先平台。Cloudera 是一家企业软件公司，该公司在 2008 年开始提供基于 Hadoop 的软件和服务。

GoGrid 是一家云计算基础设施公司，在 2012 年，该公司与 Cloudera 合作加速了企业采纳基于 Hadoop应用的步伐。Dataguise 公司是一家数据安全公司，同样在 2012 年该公司推出了一款针对 Hadoop 的数据保护和风险评估。

Apache Hadoop 配套项目

Apache 软件基金会维护着 Hadoop 的几个配套项目：

Apache Cassandra 是一款为大数据量场景设计的数据库管理系统。它的关键特性是容错、扩容、Hadoop集成性和复制支持。

Hbase 是非关系型的支持容错的分布式数据库，专为存储大量稀疏数据而设计。

Hive 是为 Hadoop 设计的数据仓库系统，支持简单数据汇总。

Apache Pig 由创建数据分析程序的高级语言组成，还包括评估那些应用程序的基础。

Apache ZooKeeper 是用于分布式应用的一款集中服务。它维护配置信息，并提供命名注册、分布式同步和组服务。

Chukwa 是一个数据收集系统，可以监控大型分布式系统，包括分析结果的一个工具包。

Apache Mahout 项目的目的是生成丰富的实现，在 Hadoop 平台，可扩展的机器学习算法。