云存储与传统分布式存储差异并不明显

2016.11.21 / View:0

网络化技术的普及,使得视频资源的联网共享成为很多行业日益迫切的需求,现有分散的视频资源正在朝着大集中的方向推进;平安城市、智能交通等大行业市场通过点、线、面的密集覆盖,每时每刻都在增加新的视频源;720P,1080P,4K,更高的视频分辨率意味更大的视频信息量……

这些不断增长的视频数据在带来海量视频存储需求的同时,也对当前的视频存储技术提出了一系列新的挑战:如何实现存储容量的平滑扩展?如何有效的降低由此带来的存储成本?如何更可靠地保存、更安全地使用和更便捷地分享这些数据?如何解决越来越庞大的系统给维护管理带来的困扰?

一、云存储的定义

2014-2019年广东物联网云计算行业趋势分析及投2014-2018年云计算行业招商计划书2014年版云计算项目融资商业计划书2014-2018年中国云计算第三方软件行业市场深度2014-2018年中国政府云计算行业市场深度调研及2014-2018年中国云计算行业市场竞争格局分析与2014-2018中国云计算产业园区行业竞争格局分析2014-2018年中国云计算行业市场深度调研与发展云存储是在云计算概念上衍生和发展出来的一种技术或服务。将网络中各类存储设备汇集在云计算系统当中,通过云计算的概念组织起来协同工作,对外提供数据存储和业务访问的功能以及与存储相关的增值应用,即称为云存储。

云存储和云计算都是云架构的技术实现,任何应用都需要一个计算模型、一个存储模型和一个通信模型。云计算中,为了实现资源的弹性利用以及给用户造成资源无限的假象,必须实现资源的复用。云存储也是一样,它通过虚拟化和精简配置技术,让资源的效益最大化。

与传统的存储设备相比,云存储不仅仅是一个硬件,而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的复杂系统。各部分以存储设备为核心,通过应用软件来对外提供数据存储和业务访问服务。

云存储对外提供的是与存储相关的服务。云存储可以提供类似于磁盘阵列的裸空间服务,也可以提供基于存储的特定服务。

二、云存储的系统架构

要了解云存储的系统架构,需要先了解其应用架构。我们以平安城市为例来看云存储的应用架构。在平安城市中,云存储可为多个系统提供存储服务,包括视频监控、卡口电警、图像资源库、图侦分析研判等。其可完成日常视频录像资源、各个案件中所涉及的视频和图片等资源、卡口电警所产生的车辆抓拍图片等资源的统一存储。

从应用架构上看,云存储系统与传统分布式存储系统差异并不明显,其更本质的区别其实体现在内部软件架构上。

云存储系统采用大规模分布式并行文件系统,以大量的服务器和存储设备为基础,构建一个大规模存储集群,提供上百PB的存储容量,并能够在线进行容量的扩充,由此搭建的大容量存储系统整体成本远低于传统存储架构,并且具有良好的可扩充性和灵活性。

云存储系统通过元数据和存储数据分离的非对称式架构,通过负载均衡和数据并发访问策略,在普通硬件条件下获得高达数十Gbps的传输速率以及上百PB级的存储容量,并可根据用户应用发展的趋势,适时按需进行在线动态扩展。与单机的文件系统不同,分布式文件系统不是将这些数据放在一块磁盘上由上层操作系统来管理,而是存放在一个服务器集群上,由集群中的服务器,各尽其责,通力合作,提供整个文件系统的服务。

云存储系统内置了基于对象数据管理策略,能够保证在系统局部发生故障时数据的安全性和可靠性,彻底消除存储系统中的单点故障,结合自动故障探测和快速故障恢复技术,确保用户的应用持续稳定地运行,同时减少部署和管理的难度。

更直观的理解,云存储系统本身也是构建在通用磁盘阵列之上的,它通过通过操作系统的API管理磁盘上的数据,只不过这样一个系统在逻辑上可以分为元数据节点(控制节点)、数据节点(存储节点)、管理节点以及客户端四个部分,这四个部分分别对应了上面提到的云存储的4层结构模型:

(一)元数据节点(控制节点)

元数据节点即控制节点,用于记录所存储的文件的各种属性,相当于整个文件系统的大脑,管理各个数据节点,收集数据节点信息,了解所有数据节点的现状,然后给它们分配任务,协调指示各数据节点为系统服务;

(二)数据节点(存储节点)

数据节点即存储节点,用于管理磁盘和卷和存储用户的文件数据,是整个存储系统的存储资源提供者,它同时还负责集群构建,包括节点管理和数据分片,并承担数据冗余保护和对数据访问的负载均衡;

(三)管理节点

管理节点统一管理云存储系统中的集群节点、文件、日志、告警、网关等,同时提供日志管理、性能监控、配置管理、故障管理等能力,方便系统管理维护人员管理云存储系统;

(四)客户端

客户端在一个独立的进程中提供服务,为用户提供文件读写、目录操作等APIs,当用户需要使用分布式文件系统进行文件读写的时候,将客户端安装至需使用系统的服务器,即可使用系统提供的服务。

永洪科技
致力于打造全球领先的数据技术厂商

申请试用
Copyright © 2012-2024开发者:北京永洪商智科技有限公司版本:V10.2
京ICP备12050607号-1京公网安备110110802011451号 隐私政策应用权限