一线用户谈大数据面临的最大挑战

Klout公司正在利用数据分析来了解人们在社交网络的影响力，该公司首席技术官Virendra Vase表示：“我们基本上是位于社交网络上面，收集所有信息，帮助人们理解以及认识其影响力。”

这个工作每天需要处理来自超过4亿用户的120亿数据信号，Klout的大数据环境包括开源平台Hadoop、以及Hbase、Hive、ElasticSearch、Scala、Storm、Node.js和其他工具。

Vase最近谈到了Klout学到的一些大数据教训。保险公司ACE Group公司首席企业架构师Rachel Higham，Tenet Healthcare公司消费类应用程序副总裁Brian Barnes也分享了他们的大数据技巧、窍门以及遇到的问题，下面让我们来看看他们分享的内容：

数据量使测试、存储和计算复杂化

庞大的数据量使测试成为一个挑战。处理非结构化数据格式和社交媒体导出的数据(例如140个字符的微薄)也不是简单的事情。当涉及存储时，更多的数据并不总是更好。他提醒说：“我们必须要弄清楚：我们需要保存什么样的数据?我们需要归档哪些数据。在最后，并不是关于数据，而是关于我们如何分析数据。”

技术成熟度是一个挑战

Vase警告说，很多大数据技术仍然在开发中。虽然这些基础技术正在日趋完善，但用于管理和配置的工具仍然处于起步阶段，这让IT专业人士不得不应对这种差距。他表示：“我们需要从管理的角度、从工作流程的角度、从配置的角度来开发攻击。”

模块化

对于Klout来说，模块化的基础设施很重要，因为这允许IT团队处理业务优先级变化，并提供业务透明度。他重申，企业需要投资于管理和生产力工具。“这正是我们的20%和25%工程资源侧重的地方--生产力工具和工作流程管理。”

努力发现人才

大数据工具正在快速发展，而供应商支持并没有完全到位，这使得寻找大数据人才成为挑战。“我们很难找到人才，我们只能聘请优秀的工程师，并对他们进行培训。”

大数据专家与业务专家合作

我们经常谈到让大数据专家与产品专家以及业务专家紧密合作，但这说起来比做起来容易，这件事情仍然难以贯彻，但双方都需要了解另一方。

ACE集团已经很善于利用大数据分析来发现风险和欺诈模式，识别新的商业机会，以及了解客户情绪。Higham表示：“我认为我们学到的最大经验是：在企业内传达我们的意图、愿景以及成功案例”。