浅谈集群存储技术

主页（http://www.pttcn.net）：浅谈集群存储技术

【中国集群通信网】随着网络视频行业不断走向成熟，越来越多的企业都参与到视频网站建设中来，竞争愈加激烈，而带宽、服务器、存储、编解码等各项技术直接关系到竞争优势。存储系统作为视频数据的载体，其IO性能和可扩展性、可靠性对整套系统架构起着至关重要的作用。

　　集中存储

　　在面对海量数据存储时,以往用户会采用传统的使用方法：集中存储，将所有的数据存放于一个单一大容量盘阵或者存储服务器中，并采用较高等级的RAID进行数据保护(如RAID 5、RAID 6等)。

　　这种类型的方案确实给用户带来了一定的益处，那就是数据可以集中管理，用户不用忙于数据迁移工作。但集中存储方案中整套业务的可靠性完全集中于单个存储设备之上，用户将所有数据集中存放将会带来集中崩溃的反作用。而且故障发生点也不仅局限于磁盘，网络、RAID控制器、供电、系统、人为误操作等各类故障都潜在威胁着数据安全，任何一点的故障都可能造成服务中断，甚至数据丢失。

　　数据存储采用集中式存储时，所有的数据读写都必须通过其有限的IO总线。尤其在视频分享一类的应用中，大量用户并发访问会给存储系统带来巨大的IO压力。

　　分散存储

　　数据的分散存储结构将服务器的计算资源与存储资源紧紧地绑定在一起，等于是各项资源被困在某一处。在计算资源方面，即使是一部分热点数据前端的应用服务器计算处理能力不足，大部分较为冷门数据前端的应用服务器也得不到充分利用。在存储资源方面，也存在部分存储系统空间被耗尽，而其他存储系统却只有小部分数据。这样，由于资源难以灵活调度，庞大的计算资源和存储资源利用率低下。

　　在数据量不断扩大的情况下，存储的规模也会不断扩展，整套存储平台的管理维护工作的难处也就逐渐地凸现出来，平台的潜在故障对数据安全性的威胁也逐渐增大。

　　数据一旦被分散存储到多套存储系统上，各存储系统的网络、磁盘、软件BUG、人为误操作等各种危险故障，都会给部分数据造成威胁。并且，随着规模扩大，各种故障出现的概率也就越大。管理员为了保障数据的安全而忙于处理数据备份、迁移，过多的人为参与也增加了误操作的危险。

　　集群存储

　　目前，非结构化数据爆炸性增长、传统存储系统难以满足需求，于是诞生了一种新型数据存储方案：集群存储。它采用数据分布到集群中各节点上的存储方式，提供单一的使用接口与界面，使用户可以方便地对所有数据进行统一使用与管理。集群存储将集群中所有磁盘设备整合到单一的共享存储池中提供给前端的应用服务器，极大提高了磁盘利用率。集群存储系统同时集合了NAS的数据共享和SAN的高性能等特性，可以为非结构化数据提供具备极高IO带宽和灵活可扩展性的存储解决方案。

　　集群存储现在已经发展到了一个成熟的时期，多款成熟的产品已经在不同的生产领域得到实际使用，帮助企业提升竞争力。例如，著名视频分享网站Youtube，使用Google的GFS等集群存储技术搭建了极具伸缩性和性价比的集群存储架构，以支撑极高的并发访问量和视频上传量，具有高聚合带宽和高可用的特点，并很好地控制了软硬件费用支出，为业务长期运转打下了良好基础。

　　LoongStore大规模集群存储系统是北京龙存科技有限责任公司的旗舰产品，具有自主知识产权。那么，该产品是如何解决视频分享网站所关心的存储难题的呢?

　　如何满足视频分享不断增长的IO带宽和存储容量需求?LoongStore大规模集群存储系统由应用服务器集群、元数据服务器集群、智能存储服务器集群等三部分组成，各部分都以通用服务器硬件为构建单元，并且都具有动态扩展能力。当视频分享服务器增加、IO带宽需求增加时，用户可以动态添加智能存储服务器，以获得更高的聚合带宽和更大的存储容量。

　　存储集群中有软硬件故障是否会影响业务正常进行?LoongStore大规模集群存储系统在集群环境中使用了数据高可用技术，可以避免因节点、网络、系统等故障和人为误操作引起的业务中断和数据丢失，系统内置的故障恢复流程可以在无用户参与的情况下完成处理。

　　LoongStore已经被国内多个大型视频分享网站所采用。由于使用通用的服务器硬件，用户无需考虑兼容性、价格、复杂的配置等因素。在实际使用中，LoongStore存放着上千万个视频短篇，提供数百TB的存储容量、高达数GB的聚合带宽，企业以更低的支出成本获得了更高的IO性能，管理员也从原来数据迁移与故障恢复工作中脱离出来。