某市公安局：cStor云存储用于大规模视频数据共享

项目背景

近年来，视频监控在安防领域得到了大规模应用，海量的摄像头完成了部署。视频监控信息在维护社会稳定，协助安全防卫过程中发挥了重要的作用，与此同时也带来了海量视频数据可靠存储和并行访问的要求。

2012年1月，因某突发任务需要，某机构要在短时间内不间断的将海量视频信息集中上传到一个数据中心，同时大量的用户对上传到数据中心的数据进行下载、查看。在此过程中还要保证用户带宽的饱和利用以及视频数据的安全。同时该系统在保证性能的前提下，要实现快速部署、方便快捷的使用和智能管理

项目挑战

1.快速部署要求

该项目为突发事件，没有提前准备的时间，用户要求在24小时内完成部署。

2.大用户量并发访问要求

该项目中最大并发用户访问量达到200人。其中50人进行视频数据上传，150人进行视频数据下载。要求实现服务器自动均衡负载，系统性能随节点数增加而线性增长，性能与节点规模成正比，没有性能瓶颈，带宽饱和利用。

3.高可靠性要求

该项目中涉及的视频数据至关重要，不容丢失，需要实现高可靠的冗余备份，同时自动屏蔽设备故障，提供24小时不间断的存储服务。

4.高集成度要求

该项目为存储系统提供有限的物理空间，需要在1个标准42U机架内包含主控节点、备用主控节点、分布存储节点，总容量达到200T。

5.简单通用要求

该项目用户较多，流动性大，需要实现无需学习即可使用。同时终端电脑操作系统较多，包含Windows2000、WindowsXP、Windows7等，需要实现一键式安装，智能化自适应管理，简单方便的操作界面。

6.动态伸缩要求

该项目数据庞大，要求在可以在不停止服务的情况下，根据项目进展情况，动态加入新的存储节点或者摘除原存储节点，在此过程中保证数据不丢失。

解决方案

1.存储系统设计方案

1) 存储系统结构

存储系统采用一主一备两个元数据服务器和11个存储节点构成。使用2U标准上架机器，安装在一个标准42U机柜内。机柜内设备连接图如下图所示：

其中，元数据服务器保存系统的元数据信息，负责整个文件系统的管理，是云存储文件系统中的“大脑”,它维护了一个统一的命名空间，同时掌握整个系统内存储节点使用的情况，据此可以实现整个系统范围内数据存储的负载均衡。

每个存储节点包含8块2T硬盘，同时元数据服务器复用为存储节点，每台包含6个2T硬盘，总容量共计200T。

2) 冗余备份方式

在文件存入云存储系统的过程中，被分为了很多64MB的文件块，自动为每个数据块做了一个备份副本。系统自动将源文件与副本存在不同的存储节点，实现了冗余备份。任意撤出一台存储节点都不会影响其中保存的数据，并且在一个存储节点丢失后，系统会自动检测丢失的副本，在其他存储节点补充完整。

3) 动态伸缩方式

cStor存储系统提供容量在线伸缩能力，不必停止服务，即可根据存储容量的需求，灵活增减存储节点。增加新的存储节点是一件十分容易的事情，存储节点只需要注册到元数据服务器上即可。

2.网络部署方案

存储集群机柜使用的是TP-Link 千兆以太网交换机 24口;

上传区域接入三个千兆交换机(从机柜拉出三根)，此处后续在服务可停的情况下可优化为三个交换机串联，从机柜拉出一根网线即可;

下载区域对面接入四个千兆交换机(8口*1+24口*3);

另外两个下载区域是接入三个千兆交换机(24口*3)。

3.客户端方案

1)FTP

通过FTP方式实现文件的上传与共享。

上传使用管理账户，下载采用匿名用户，仅有下载和部分上传权限(不能上传服务器中已经存在的同名文件，不能删除、移动文件)。

2)Windows客户端

Windows客户端用于上传和下载数据：

使用者在安装好的客户端后，运行cStorClient，只需输入元数据服务器IP地址和挂载盘符M，就可以挂载cStor虚拟的磁盘M给客户使用，客户端在资源管理器中将能看到增加的盘符，此时客户可以使用cStor提供的磁盘资源，对其进行数据的读写、修改等操作。

4.cStor客户端实现用户方便使用

cStor客户端拥有Windows、Linux、MAC OS三个版本，并且已经通过测试，可以稳定运行在当前主流的计算机上。它具有如下特性：

1)使用简单

一键安装。客户端软件将整个存储系统映射为一个虚拟磁盘供用户使用，用户就像使用自己的本地硬盘一样对存储系统进行读写、修改等操作，方便快捷。

2)快速访问

cStor客户端通过对分散数据块预处理的机制，同时读写分布在多个存储节点上的数据块，大大提升了数据读写速度，并且对存储节点的负载均衡也提供了很大的帮助。实现了系统性能随节点数增加而线性增长，性能与节点规模成正比，没有性能瓶颈，带宽饱和利用。

现场部署、使用情况

1.在1个标准42U机柜内配置1个主Master、1个备用Master、11个存储节点，实现200T存储空间。

2.通过千兆以太网交换机，分别连接三个视频下载及一个视频上传区域。每个区域分别配备50台电脑。

3.在每个电脑上安装cStor客户端，将整个云存储系统映射为一个虚拟硬盘。用户如同操作本地硬盘一样实现对存储系统的使用。

4.云存储系统自动实现数据冗余备份，用户均衡负载等功能，为每一个终端用户提供高效的访问及可靠的数据安全服务。

客户受益

在该项目中，云创以其优异的设备性能，良好的服务，快速的反应速度，为用户任务的圆满完成提供了可靠的保障。具体体现在：

1.24小时内实现了在1个42U机柜内200T存储空间部署。

2.200人并发使用cStor存储系统情况下，能够迅速的实现大量监控视频的上传与下载、顺利的观看监控录像。

3.7*24小时不间断存储服务，未出现任何数据损坏丢失问题。

4.终端一键安装，用户无需培训即可方便使用。