大数据存储问题处理成2014主要任务

大数据在IT行业是与云计算并驾齐驱的另一大热门话题。“大数据”指的是那些数量巨大、难于收集、处理、分析的数据集，这就容易出现存储问题，本文介绍的容易出现的几大问题。

“大数据”通常指的是那些数量巨大、难于收集、处理、分析的数据集，亦指那些在传统基础设施中长期保存的数据。这里的“大”有几层含义，它可以形容组织的大小，而更重要的是，它界定了企业中IT基础设施的规模。业内对大数据应用寄予了无限的期望商业信息积累的越多价值也越大只不过我们需要一个方法把这些价值挖掘出来。

为什么现在要大数据?

与以往相比，我们除了有能力存储更多的数据量之外，还要面对更多的数据类型。这些数据的来源包括网上交易、网络社交活动、自动传感器、移动设备以及科学仪器等等。除了那些固定的数据生产源，各种交易行为还可能加快数据的积累速度。比如说，社交类多媒体数据的爆炸性增长就源于新的网上交易和记录行为。数据永远都在增长之中，但是，只有存储海量数据的能力是不够的，因为这并不能保证我们能够成功地从中搜寻出商业价值。

数据是重要的生产要素

信息时代，数据俨然已成为一种重要的生产要素，如同资本、劳动力和原材料等其他要素一样，而且作为一种普遍需求，它也不再局限于某些特殊行业的应用。各行各业的公司都在收集并利用大量的数据分析结果，尽可能的降低成本，提高产品质量、提高生产效率以及创造新的产品。例如，通过分析直接从产品测试现场收集的数据，能够帮助企业改进设计。此外，一家公司还可以通过深入分析客户行为，对比大量的市场数据，从而超越他的竞争对手。

存储技术必须跟上

随着大数据应用的爆发性增长，它已经衍生出了自己独特的架构，而且也直接推动了存储、网络以及计算技术的发展。毕竟处理大数据这种特殊的需求是一个新的挑战。硬件的发展最终还是由软件需求推动的，就这个例子来说，我们很明显的看到大数据分析应用需求正在影响着数据存储基础设施的发展。

从另一方面看，这一变化对存储厂商和其他IT基础设施厂商未尝不是一个机会。随着结构化数据和非结构化数据量的持续增长，以及分析数据来源的多样化，此前存储系统的设计已经无法满足大数据应用的需要。存储厂商已经意识到这一点，他们开始修改基于块和文件的存储系统的架构设计以适应这些新的要求。在这里，我们会讨论哪些与大数据存储基础设施相关的属性，看看它们如何迎接大数据的挑战。

容量问题

这里所说的“大容量”通常可达到PB级的数据规模，因此，海量数据存储系统也一定要有相应等级的扩展能力。与此同时，存储系统的扩展一定要简便，可以通过增加模块或磁盘柜来增加容量，甚至不需要停机。基于这样的需求，客户现在越来越青睐Scale-out架构的存储。Scale-out集群结构的特点是每个节点除了具有一定的存储容量之外，内部还具备数据处理能力以及互联设备，与传统存储系统的烟囱式架构完全不同，Scale-out架构可以实现无缝平滑的扩展，避免存储孤岛。

“大数据”应用除了数据规模巨大之外，还意味着拥有庞大的文件数量。因此如何管理文件系统层累积的元数据是一个难题，处理不当的话会影响到系统的扩展能力和性能，而传统的NAS系统就存在这一瓶颈。所幸的是，基于对象的存储架构就不存在这个问题，它可以在一个系统中管理十亿级别的文件数量，而且还不会像传统存储一样遭遇元数据管理的困扰。基于对象的存储系统还具有广域扩展能力，可以在多个不同的地点部署并组成一个跨区域的大型存储基础架构。

延迟问题

“大数据”应用还存在实时性的问题。特别是涉及到与网上交易或者金融类相关的应用。举个例子来说，网络成衣销售行业的在线广告推广服务需要实时的对客户的浏览记录进行分析，并准确的进行广告投放。这就要求存储系统在必须能够支持上述特性同时保持较高的响应速度，因为响应延迟的结果是系统会推送“过期”的广告内容给客户。这种场景下，Scale-out架构的存储系统就可以发挥出优势，因为它的每一个节点都具有处理和互联组件，在增加容量的同时处理能力也可以同步增长。而基于对象的存储系统则能够支持并发的数据流，从而进一步提高数据吞吐量。

有很多“大数据”应用环境需要较高的IOPS性能，比如HPC高性能计算。此外，服务器虚拟化的普及也导致了对高IOPS的需求，正如它改变了传统IT环境一样。为了迎接这些挑战，各种模式的固态存储设备应运而生，小到简单的在服务器内部做高速缓存，大到全固态介质的可扩展存储系统等等都在蓬勃发展。

并发访问一旦企业认识到大数据分析应用的潜在价值，他们就会将更多的数据集纳入系统进行比较，同时让更多的人分享并使用这些数据。为了创造更多的商业价值，企业往往会综合分析那些来自不同平台下的多种数据对象。包括全局文件系统在内的存储基础设施就能够帮助用户解决数据访问的问题，全局文件系统允许多个主机上的多个用户并发访问文件数据，而这些数据则可能存储在多个地点的多种不同类型的存储设备上。

安全问题

某些特殊行业的应用，比如金融数据、医疗信息以及政府情报等都有自己的安全标准和保密性需求。虽然对于IT管理者来说这些并没有什么不同，而且都是必须遵从的，但是，大数据分析往往需要多类数据相互参考，而在过去并不会有这种数据混合访问的情况，因此大数据应用也催生出一些新的、需要考虑的安全性问题。

成本问题

“大”，也可能意味着代价不菲。而对于那些正在使用大数据环境的企业来说，成本控制是关键的问题。想控制成本，就意味着我们要让每一台设备都实现更高的“效率”，同时还要减少那些昂贵的部件。目前，像重复数据删除等技术已经进入到主存储市场，而且现在还可以处理更多的数据类型，这都可以为大数据存储应用带来更多的价值，提升存储效率。在数据量不断增长的环境中，通过减少后端存储的消耗，哪怕只是降低几个百分点，都能够获得明显的投资回报。此外，自动精简配置、快照和克隆技术的使用也可以提升存储的效率。

很多大数据存储系统都包括归档组件，尤其对那些需要分析历史数据或需要长期保存数据的机构来说，归档设备必不可少。从单位容量存储成本的角度看，磁带仍然是最经济的存储介质，事实上，在许多企业中，使用支持TB级大容量磁带的归档系统仍然是事实上的标准和惯例。 对成本控制影响最大的因素是那些商业化的硬件设备。因此，很多初次进入这一领域的用户以及那些应用规模最大的用户都会定制他们自己的“硬件平台”而不是用现成的商业产品，这一举措可以用来平衡他们在业务扩展过程中的成本控制战略。为了适应这一需求，现在越来越多的存储产品都提供纯软件的形式，可以直接安装在用户已有的、通用的或者现成的硬件设备上。此外，很多存储软件公司还在销售以软件产品为核心的软硬一体化装置，或者与硬件厂商结盟，推出合作型产品。

22223月10日消息，根据工信部运行局预计，在4G网络上线后，我国4G智能手机的出货量在2014年达到1.2亿部才能满足用户对网络接入的庞大需求。从用户发展和营收来看，4G发展速度将远高于3G网络部署之初的记录，未来3年国内4G市场将呈现爆炸式增长，而非3G初期渐进式增长。

据悉，工信部近日公布了《2013年手机行业发展情况回顾与展望》，从中得知2013年全年，我国手机产量达到14.6亿部，增长23.2%，增速比上年提高18.9个百分点。据IDC发布的2013年全球手机18亿部的出货量测算，我国产量占全球出货量份额达到81.1%，比2012年提高10个百分点以上。

2013年以来，我国手机出口增长较快。据海关统计，1-12月，我国手机出口11.9亿部，同比增长16.9%，增速比上年提高1.0个百分点;出口额951亿美元，同比增长17.4%，增速高于电子信息产品平均水平5.5个百分点。

2013年1-12月，通信终端设备制造业共实现主营业务收入10233亿元，同比增长30.4%;实现利润总额355亿元，同比增长20.5%;行业收入增速高于电子制造业平均水平20.0个百分点;行业平均利润率达到3.5%，低于电子制造业平均水平1.0个百分点。

2013年，通信终端设备制造业500万元以上项目完成固定资产投资434亿元，同比增长38.8%，增速比上年提高20个百分点以上，高于电子制造业平均水平25.9个百分点。从投资领域来看，企业的投资重点从生产环节向上下游转移，主要包括上游的芯片、设计和软件开发以及下游的增值服务等领域。

在整体出货方面，2013年，国内手机市场累积出货量为5.79亿部，同比增长24.1%。其中，2G手机出货量为1.7亿部，3G手机出货量达到4.08亿部。其中，智能手机出货量为4.23亿部，同比增长64.1%，市场占有率达到73.1%;其中Android手机出货量3.98亿部，占同期智能手机出货量的94.0%。

在新品上市方面，2013年，国内上市手机新机型2861款，同比下降26.7%。其中，2G手机新机型786款，3G手机新机型2055款，TD-LTE手机新机型20款。其中，上市智能手机新机型2288款，同比增长3.0%，占同期新机型总数的80.0%;其中有2217款采用Android操作系统，占同期智能手机新机型数的96.9%。

在国产品牌发展方面，2013年，国产品牌手机出货量4.61亿部，同比增长24.9%，占手机总出货量的79.7%;上市新机型2691款，同比下降27.2%，占手机上市新机型总量的94.1%。3G手机中，国产品牌出货量份额分别为：TD-SCDMA手机89.0%、WCDMA手机52.2%、cdma2000手机75.5%;TD-LTE手机中，国产品牌占比54.0%。

工信部指出，由于国内手机生产企业技术积累不足，与众多的外资手机企业先比，总体技术水平仍远落后于外资企业，核心技术几乎全部掌握在外资手机厂商中。

在硬件方面，我国手机企业缺乏芯片和射频元器件等关键核心技术。一方面直接导致我国国产手机缺乏高端产品，市场竞争力弱，利润少;另一方面，导致国产手机产品的同质化现象越来越严重，直接制约了我国手机产业的健康发展。

在软件方面，智能手机风靡全球，逐步取代传统功能型手机，而国产手机在智能化领域的拓展明显落后。国产手机操作系统大多基于Android及定制业务进行市场开发，真正具有特色的独创性应用很少，国产手机操作系统普遍存在版本升级缓慢，操作系统“补漏”、“增效”的速度明显滞后等问题。从全球智能手机的毛利率看，苹果超过50%，三星、HTC维持在30%上下，而国产品牌的毛利率不到20%。

品牌建设力度不足。国产手机企业发展中存在一个共性问题：企业缺乏做强、做大的长远规划，忽视企业品牌的建设。众多手机消费者在购买手机时越来越理性，手机品牌对其购买决策影响非常大。由于缺乏关键核心技术，我国国产手机制造商被迫放弃高端产品市场转战低端产品市场，并将主战场定位于千元以下的机型，引发价格战，并给国内外消费者留下低端产品印象。

此外，国内一些手机制造商为满足市场对新款手机样式的需求，极力缩短手机从研发制造到上市的时间，导致部分产品质量不稳定，返修率较高，用户关于手机质量投诉不断提高。

国际竞争趋于激烈。近年来，印度、越南等发展中国家采取各种优惠政策大力扶植本国产业的发展。由于这些国家拥有非常丰富的廉价劳动力，以及产业链条配套设施日趋完善，手机类电子产品的订单向这些国家的转移趋势越来越明显，正逐步抢占国际手机市场中原本属于我国的订单份额。

以三星投资越南为例：自2008年开始，三星首次投资6.7亿美元在越南北宁省建造了第一家手机工厂;2012年，三星又投资7亿美元在越南北部太原省建立了第二家手机工厂;2013年，三星再次加码越南投资，拟斥资20亿美元在越南建立第三家生产基地，用于制造手机、相机和笔记本电脑。据初步测算，2013年三星旗下越南工厂的智能手机出货量将达到2.4亿部，占其总产量的半数以上，占同期全球智能手机出货量的份额达到20%左右。

至于2014年手机行业发展趋势，摩根大通的数据显示，2014年，全球智能手机的出货量增速将比2013年有较为明显的回落。造成这一趋势的主要原因是高端智能手机市场正逐渐饱和，首次购机用户减少;加之现有手机的功能已经足以满足多数用户的需求，对手机的升级需求也在减少。在市场需求逐渐饱和的背景下，手机产品的技术竞争将愈发激烈，多模4G芯片、2K高清屏幕、光学防抖拍摄、NFC(近距离无线通讯)、可弯曲柔性屏幕和电池以及双操作系统搭载等几种技术将成为发展趋势。

同时，工信部也预计，2014年我国手机行业产销规模仍将保持一定幅度增长，但受全球市场需求趋于饱和以及行业竞争不断加剧等不利因素影响，产销增速与2013年相比将略有放缓。

333333月10日消息，根据工信部运行局预计，在4G网络上线后，我国4G智能手机的出货量在2014年达到1.2亿部才能满足用户对网络接入的庞大需求。从用户发展和营收来看，4G发展速度将远高于3G网络部署之初的记录，未来3年国内4G市场将呈现爆炸式增长，而非3G初期渐进式增长。

据悉，工信部近日公布了《2013年手机行业发展情况回顾与展望》，从中得知2013年全年，我国手机产量达到14.6亿部，增长23.2%，增速比上年提高18.9个百分点。据IDC发布的2013年全球手机18亿部的出货量测算，我国产量占全球出货量份额达到81.1%，比2012年提高10个百分点以上。

2013年以来，我国手机出口增长较快。据海关统计，1-12月，我国手机出口11.9亿部，同比增长16.9%，增速比上年提高1.0个百分点;出口额951亿美元，同比增长17.4%，增速高于电子信息产品平均水平5.5个百分点。

2013年1-12月，通信终端设备制造业共实现主营业务收入10233亿元，同比增长30.4%;实现利润总额355亿元，同比增长20.5%;行业收入增速高于电子制造业平均水平20.0个百分点;行业平均利润率达到3.5%，低于电子制造业平均水平1.0个百分点。

2013年，通信终端设备制造业500万元以上项目完成固定资产投资434亿元，同比增长38.8%，增速比上年提高20个百分点以上，高于电子制造业平均水平25.9个百分点。从投资领域来看，企业的投资重点从生产环节向上下游转移，主要包括上游的芯片、设计和软件开发以及下游的增值服务等领域。

在整体出货方面，2013年，国内手机市场累积出货量为5.79亿部，同比增长24.1%。其中，2G手机出货量为1.7亿部，3G手机出货量达到4.08亿部。其中，智能手机出货量为4.23亿部，同比增长64.1%，市场占有率达到73.1%;其中Android手机出货量3.98亿部，占同期智能手机出货量的94.0%。

在新品上市方面，2013年，国内上市手机新机型2861款，同比下降26.7%。其中，2G手机新机型786款，3G手机新机型2055款，TD-LTE手机新机型20款。其中，上市智能手机新机型2288款，同比增长3.0%，占同期新机型总数的80.0%;其中有2217款采用Android操作系统，占同期智能手机新机型数的96.9%。

在国产品牌发展方面，2013年，国产品牌手机出货量4.61亿部，同比增长24.9%，占手机总出货量的79.7%;上市新机型2691款，同比下降27.2%，占手机上市新机型总量的94.1%。3G手机中，国产品牌出货量份额分别为：TD-SCDMA手机89.0%、WCDMA手机52.2%、cdma2000手机75.5%;TD-LTE手机中，国产品牌占比54.0%。

工信部指出，由于国内手机生产企业技术积累不足，与众多的外资手机企业先比，总体技术水平仍远落后于外资企业，核心技术几乎全部掌握在外资手机厂商中。

在硬件方面，我国手机企业缺乏芯片和射频元器件等关键核心技术。一方面直接导致我国国产手机缺乏高端产品，市场竞争力弱，利润少;另一方面，导致国产手机产品的同质化现象越来越严重，直接制约了我国手机产业的健康发展。

在软件方面，智能手机风靡全球，逐步取代传统功能型手机，而国产手机在智能化领域的拓展明显落后。国产手机操作系统大多基于Android及定制业务进行市场开发，真正具有特色的独创性应用很少，国产手机操作系统普遍存在版本升级缓慢，操作系统“补漏”、“增效”的速度明显滞后等问题。从全球智能手机的毛利率看，苹果超过50%，三星、HTC维持在30%上下，而国产品牌的毛利率不到20%。

品牌建设力度不足。国产手机企业发展中存在一个共性问题：企业缺乏做强、做大的长远规划，忽视企业品牌的建设。众多手机消费者在购买手机时越来越理性，手机品牌对其购买决策影响非常大。由于缺乏关键核心技术，我国国产手机制造商被迫放弃高端产品市场转战低端产品市场，并将主战场定位于千元以下的机型，引发价格战，并给国内外消费者留下低端产品印象。

此外，国内一些手机制造商为满足市场对新款手机样式的需求，极力缩短手机从研发制造到上市的时间，导致部分产品质量不稳定，返修率较高，用户关于手机质量投诉不断提高。

国际竞争趋于激烈。近年来，印度、越南等发展中国家采取各种优惠政策大力扶植本国产业的发展。由于这些国家拥有非常丰富的廉价劳动力，以及产业链条配套设施日趋完善，手机类电子产品的订单向这些国家的转移趋势越来越明显，正逐步抢占国际手机市场中原本属于我国的订单份额。

以三星投资越南为例：自2008年开始，三星首次投资6.7亿美元在越南北宁省建造了第一家手机工厂;2012年，三星又投资7亿美元在越南北部太原省建立了第二家手机工厂;2013年，三星再次加码越南投资，拟斥资20亿美元在越南建立第三家生产基地，用于制造手机、相机和笔记本电脑。据初步测算，2013年三星旗下越南工厂的智能手机出货量将达到2.4亿部，占其总产量的半数以上，占同期全球智能手机出货量的份额达到20%左右。

至于2014年手机行业发展趋势，摩根大通的数据显示，2014年，全球智能手机的出货量增速将比2013年有较为明显的回落。造成这一趋势的主要原因是高端智能手机市场正逐渐饱和，首次购机用户减少;加之现有手机的功能已经足以满足多数用户的需求，对手机的升级需求也在减少。在市场需求逐渐饱和的背景下，手机产品的技术竞争将愈发激烈，多模4G芯片、2K高清屏幕、光学防抖拍摄、NFC(近距离无线通讯)、可弯曲柔性屏幕和电池以及双操作系统搭载等几种技术将成为发展趋势。

同时，工信部也预计，2014年我国手机行业产销规模仍将保持一定幅度增长，但受全球市场需求趋于饱和以及行业竞争不断加剧等不利因素影响，产销增速与2013年相比将略有放缓。