NSF为科学计算寻找大数据中间件

美国国家科学基金会(NSF)想要探索新的方式，以利用新的商业大数据工具来处理研究科学计算的数据管理和分析挑战。

NSF向来自亚利桑那大学、埃默里大学、印第安纳州、堪萨斯州、罗格斯大学、弗吉尼亚理工大学和犹他州大学的大学团队拨款500万美元来赞助该项目，被称为用于数据密集型分析和科学的中间件(MIDAS)。

“很多科学问题依赖于分析和计算大量数据的能力，”美国国家科学基金会在其资助公告中称，“这种分析往往不能很好地扩展;其有效性受到不断增加的数据数量、种类和变化率的影响。”

该项目将会整合传统高性能计算(HPC)(例如科学图书馆、通信和资源管理中间件)的功能与商业大数据生态系统中的丰富的功能集。

“这包括软件系统，例如Hadoop，”NSF表示，Hadoop来自于Apache开源社区。Hadoop是一个开源框架，主要用于跨不同存储和计算集群处理大型数据集。

美国国家科学基金会将会涉及MIDAS中间件，该中间件将会实现可扩展的应用程序，这些应用程序具有HPC的性能，以及商品Apache大数据堆栈的丰富功能。

美国国家科学基金会将会在七个不同的科学社区解决主要的数据挑战，包括生物分子模拟、计算社会科学、计算机视觉、病理信息学和地理信息系统。

与这些研究领域相关的项目库将会被开发为可扩展和可互操作，跨越各种计算系统，例如云计算、集群和超级计算机。