主页(http://www.pttcn.net):海量视频存储技术应用 【中国集群通信网】随着全国各地“和谐社会、平安城市”建设速度的加快,每个平安项目监控点成千上万,甚至数十万,根据政府、公安部门的要求,平安城市监控录像资料至少保存15天以上,因此产生的海量数据是非常惊人的,采用传统的硬盘录像机(DVR/NVR)无法满足实际的需求,但是作为其海量存储的载体——存储系统却往往由于性能、价格、兼容性等多方面因素成为困扰安防厂商的一个难题。 视频监控对存储的需求特点 视频监控对存储需求有如下几个特点: 1. 对存储的容量需求弹性比较大,存储容量的多少随着画面质量的提高、画面尺寸的增大、视频线路的增加都会成倍的增加容量需求。 2. 对存储的性能要求不高,但是需要能够满足长时间的连续数据读写,数据流量大但访问请求数量低。 3. 数据保存周期短,一般的监控场所数据保存一定时间(如1个月)以后便可以删除。要为视频监控方案选择合适的存储设备,首先就要估算存储容量需求。那么根据现在主流的压缩方式来计算如下: 录像保存天数与硬盘的容量(每天24小时连续录像;硬盘容量单位为GB;下列数值的105%为硬盘实际使用容量) 从这个表我们基本可以估算出一个视频监控项目中所需存储设备的类型。举例来说,某银行需要4路视频监控系统,7*24小时监控,数据保存3个月便可以覆盖,那么总计容量需求1.7TB,.因此我们可以考虑推荐NS3500/NS33/NS35系列的存储设备。 按需提供存储解决之道:那么我们分析了视频监控系统对存储系统的要求,便可以针对不同的需求特点制定不同的解决方法。 存储技术及架构分析 传统的数据存储技术较为成熟和完善,目前,主流存储架构有NAS、SAN两种,而SAN又可分为FCSAN和IPSAN两种。下面就针对监控行业对存储的需求特点,结合用户的实际应用,将这三种存储架构进行一个比较和遴选。 一、文件级数据存储 NAS设备最主要的应用就是企业或部门内部的文件共享。由于NAS本身就是一台瘦服务器,有自己的操作系统和文件系统,可以直接与本地局域网连接,提供文件级的数据共享,但NAS设备无法成为服务器的本地硬盘,无法提供数据块的存储。 NAS是在局域网中传输,且有自己的操作系统和文件系统,这些因素都会导致NAS设备的带宽降低,增加NAS设备的读写响应时间。 二、FCSAN存储架构 FCSAN最大的优势在于其出色的性能。目前的主流FC产品的带宽为2Gb/s,4Gb/s产品也已经相当普遍,这是FCSAN高性能的标志。而光纤磁盘本身的高性能,也为FC磁盘阵列提供了高速运转的基础。 FCSAN的高性能带来的另外一个特点就是高成本,从光纤阵列本身到光纤磁盘再到光纤交换设备、光纤HBA卡等周边设备的成本都是最高的,而采用光纤磁盘阵列带来的管理维护成本,也将是用户一笔不小的开支。 三、IPSAN存储架构 IPSAN中所采用iSCSI通信协议实际上是一个互联协议,是SAN结构的一种。通过将SCSI协议封装在IP包中,使得SCSI协议能够在LAN/WAN中进行传输。 1)为存储区域网定义(SANs)。IPSAN是SAN的一种,通过IP实现的SAN,即IPSAN. 2)支持数据库应用所需的基于块的存储。虽然是通过IP传输,但iSCSI却是基于块的存储,这有别于NAS的基于文件的存储。 3)基于TCP/IP,iSCSI是被封装在IP包中进行传输的,所以它具有TCP/IP的所有优点,诸如可靠传输,可路由等。 4)建立和管理基于IP的存储设备,主机和客户端之间的连接是建立在广泛使用的,为大家所熟悉的开放标准上的 5)提供高级的IP路由,管理和安全工具。现有的绝大部分网络管理工具都可以用来管理IPSAN. IPSAN的优势 1)低成本 由于通过以太网进行传输,用户可以利用现有的以太网设施来部署iSCSI存储网络,而不需要更改用户的网络体系,所以他的部署成本比较低。 2)协议本身没有距离限制 由于使用TCP/IP进行传输,他不但可以在局域网中进行部署,也可以跨过路由设备在广域网中进行部署,大大扩展了iSCSI存储网络的部署范围。 3)易于使用 iSCSI结构简单,容易理解,协议通用,不同厂家的产品可以有机的结合起来共同使用,极大地保护了用户的投资。 4)易于扩展 由于iSCSI存储系统可以直接在现有的网络系统中进行组建,并不需要改变网络体系,加上运用交换机来连接存储设备,对于需要增加存储空间的企业用户来说,只需要增加存储设备就可完全满足,因此,iSCSI存储系统的可扩展性高。 综上所述,针对视频监控用户的需求和数据存储应用特点,IPSAN架构无疑是最合适的,其较FCSAN的成本优势,较NAS的性能优势和数据块级的存储都为IPSAN成为最适合视频监控系统应用的先天性优势。 三种存储方式管理 分布式存储集中管理 对于大规模的城市联网监控系统,通常采用多个层次型的监控中心体系,每个基层的监控中心管理其辖区内的监控资源并进行存储,因此会采用分布式存储集中管理的模式进行构建,这种模式有助于减轻网络的压力,同时将资源下沉有助于实战部门掌握更多的资源。一级监控中心统一管理所有的视频资源和录像文件。 集中存储分布式管理 对于只有一个集中管理中心的中小规模联网监控系统,如县/地级市,某大城市公安分局,某大型工矿企业,数据一般集中存储在一级监控中心,其他的基层监控中心安装系统平台的分控客户端进行浏览和管理部分前端。在这种情况下,存储服务器集中放置在一级监控中心,通过虚拟卷和网格存储技术,形成一个无限容量的存储池,使存储扩展对用户透明。 混合型存储 将前面两种方式进行结合,以分布式存储作为基础,同时在一级监控中心设置网络存储服务器。短期的数据临时存放在基层监控中心的网络存储服务器内,长期的数据存上传一级监控中心的网络存储服务器中。重要监控点位的视频资料不仅存储在基层监控中心的网络存储服务器,也实时的传输到一级监控中心的网络存储服务器中作为备份。在基层监控中心建立备份计划,采用定时自动备份的方式,将超过30天的视频文件备份到网络存储服务器相对应的目录中。
|