Splunk实现与Hadoop的集成与监控

2012年10月24日，实时运营信息软件供应商Splunk宣布Splunk Hadoop Connect和Splunk App for HadoopOps现已全面上市。Splunk Hadoop Connect可提供双向集成，轻松可靠地完成在Splunk与Hadoop之间迁移数据。Splunk App for HadoopOps可对端到端Hadoop环境的健康和性能进行实时监控和分析。Splunk Hadoop Connect和 Splunk App for HadoopOps即日起可供下载。

Apache Hadoop项目管理委员会主席Arun Murthy表示：“Splunk Hadoop Connect让Hadoop用户更轻松地利用Splunk将大数据带入企业。它让Splunk和Hadoop更紧密地联系在一起，为用户开启了无限可能。Hadoop未来发展的关键技术因素是利用Hadoop从数据中获得情报的软件。”

Edmunds.com生产工程高级总监John Martin表示：“我们不断将数据传输至Splunk，以支持我们的运营、应用、安全团队和高管人员并为他们提供情报。我们还部署Hadoop进行多批处理。Splunk和Hadoop的集成让我们可以充分利用这两个技术，并保证我们的Hadoop集群平稳运行。”

Splunk Hadoop Connect让企业能够充分享受两家企业的技术。快速部署Splunk进行实时采集、检索、分析和可视化，然后可靠地将事件转发至Hadoop，进行长期归档和更多批量分析。企业机构可通过导入存储在Hadoop中的数据进一步充分利用Splunk，从而在几天内就轻松搭建起可靠、安全的企业级大数据项目。Splunk Hadoop Connect与Apache Hadoop兼容，并已经过Cloudera CDH和Hortonworks HDP发布的测试和认证。

Splunk App for HadoopOps为Hadoop提供实时端到端监控、分析和故障排除，所有这些都是在一个界面上完成的。现有Hadoop监控工具只关注Hadoop层。Splunk App for HadoopOps则通过涵盖基础设施，包括Hadoop、网络、交换机、机架、操作系统和数据库在内的所有层，从而实现超越。

Splunk产品营销副总裁Sanjay Mehta表示：“通过将大数据转化为实时情报，Splunk客户每天都为我们带来惊喜。我们希望让Hadoop用户更轻松地获得这种价值。Splunk可通过轻松、迅速、弹性的方式来收集、分析用户所有机器生成的数据并确保其安全，无论是在物理、虚拟还是云环境中。Splunk Hadoop Connect和Splunk App for HadoopOps有一个共同的开发目的，即：帮助Hadoop用户从数据中获得更多，同时更轻松地管理并监控其系统。”

451 Research数据管理与分析研究经理Matt Aslett表示：“Splunk采用一种方法论方式来定义其与Hadoop的共存关系。Splunk Hadoop Connect不仅能够与Hadoop相集成，并且能够与其进行互动，再加上利用Splunk App for HadoopOps来监控超越Hadoop本身的集群资源，意味着它能够在‘提供管理和分析Splunk和Hadoop中数据的单一平台’方面发挥更大作用。”

Splunk Hadoop Connect功能包括：

将事件从Splunk Enterprise?可靠导出至Hadoop，以便进行归档、进一步处理或进行更多批量处理。原始数据和处理前的数据都可发送。

利用Splunk Hadoop Connect用户界面来探索Hadoop目录，检查文件并决定将导入Splunk的数据。

将Hadoop数据导入Splunk，并进行检索，使其用于搜索、报告、分析和可视化，并通过基于角色的访问控制而对其进行保护。

Splunk App for HadoopOps功能包括：

除了从不同数据中心进行多集群管理，还可端到端监控Hadoop集群、数据库和网络，并排除故障。

针对任何警告或错误情况的强大报警框架。

利用直观的热图显示，集中地实时查看Hadoop节点。

分析MapReduce的实时和历史工作表现。

Splunk Hadoop Connect和Splunk App for HadoopOps可在Splunkbase上免费下载。

显然，Splunk实现与Hadoop的集成与监控从外围再次丰富了Hadoop产业链。不只是Splunk，还有Splice Machine，Birst（详见拓展Hadoop范畴）等一批技术创新型企业出现。

(责任编辑：蒙遗善)