初志科技视频监控系统存储解决方案解析

主页（http://www.pttcn.net）：初志科技视频监控系统存储解决方案解析

　　虽然出于经济性考虑，视频监控应用中高清监控视频压缩率会比较高，目前720P高清视频摄像资料每小时视频录像可压缩到3GB左右容量，但由于采集的是高清视频，而一般的监控系统摄像路数都是几十路甚至扩展到上百路以上，所以这种应用将需要更多的存储设备和更大的存储容量。以此为例，按半个月保存时间要求计算，我们可以得到这样一个数据：

　　3GB/小时*24小时*15天*1路=1080GB

　　每存储一路视频需要1080GB以上的净容量，那么计算一个拥有200路高清视频摄像，需要保存15天的监控系统所需的最少存储容量是216TB,考虑到全局数据冗余度,未来数据膨胀,以及数据自动恢复等,系统设计至少220TB的存储。

　　视频采集过程中，视频文件格式一般都不会发生变化，且码率保持恒定，视频图像的帧率一般为25帧/S，也就是说在存储的读写操作中，必须保证存储的高带宽，否则图像采集或回放就会出现丢帧现象。因此视频监控系统对存储系统在高并发IO的情况下不仅要求在高并发IO的情况下带宽大，还要求带宽稳定。

　　数据读写操作的持续时间长。由于摄像头一般都是7*24小时工作的，所以数据写入操作的持续时间也是7*24小时不间断的，后期回放时也需要在7*24小时内都能够及时获取数据。因此要求存储系统在硬盘损坏，甚至存储某些节点宕机的情况下，能够保持7*24小时不间断稳定运行。

　　视频监控系统一般具有摄像头数量多，视频图像存储时间长，因此存储容量需求巨大，且随着图像存储时间的增加，存储容量需求呈线性的、爆炸性的增长。因此视频监控系统存储必须支持大容量，且容量具有高扩展性，满足长时间大容量视频图像存储的需求。

　　基于CZSS集群存储系统的解决方案

CZSS存储系统拓扑图

　　【方案说明】

　　如上图所示，视频监控摄像头通过以太网络将拍摄的视频流发送到视频监控服务器上，视频监控服务器再通过数据中心内部告诉网络将摄像头发回的视频信息写入到由元数据服务器集群和存储服务器集群组成的CZSS共享虚拟文件存储池上。用户则通过回放服务器访问CZSS上存放的视频信息。

　　CZSS存储架构与传统存储架构性能对比

　　2008年10月在中影集团机房内利用相同的硬件环境对CZSS存储架构和传统存储架构分别做了性能测试，用iozone工具测试存储架构的并发IO性能。

　　如上图所示，CZSS存储架构与传统存储架构相比较，并发写性能高约30%，并发读性能高约10%。

　　传统类型的存储架构，每1TB硬盘的I/O平均读写速度最高能达到15-20MB/s，以60TB为例整个存储架构的I/0并发读写速度仅能达到0.9-1.5GB/s，无法满足高并发性的要求。而CZSS存储系统打破了传统意义上的以硬盘为单位的I/O读写速度的瓶颈，采用了高效的文件管理机制，以节点为整个系统I/O读写的计算单位，同样60TB，CZSS系统大约需要10个节点(10台存储单元)，每个节点的读写速度为300MB/s以上，故并发读写速度可达到3GB/s以上，极大地满足了用户对于系统高并发性的要求。

　　 而且在传统存储测试过程中在做并发读写的时候，在客户端无法对传统存储系统挂载目录进行ls(查看目录中的文件)操作，即传统存储系统在有负载的情况下无法查看其中的数据，这样使得在系统在有任务时，就无法取出存储在传统存储架构中的结果数据。这种现象说明传统存储架构的元数据处理能力很低，在有大量文件的情况下会导致系统无法提供服务。

　　传统存储架构的软件在客户端请求数较多时，元数据类操作将失去响应。此时所有的客户端将无法执行打开文件夹、查询文件类的操作，这样，所有的桌面客户端都将失去响应，制作工作将完全无法进行。而CZSS的存储软件没有这个问题。

　　在同等硬件条件下，集群系统软件的IO带宽比传统存储架构软件要高出30%。投资成本降低了40%以上。