视频监控存储的进化之路
除了上帝,谁都离不开数据,所以,大数据时代数据存储量呈现爆炸式增长。同时,随着IT网络技术的蓬勃发展和视频监控数字化、网络化、高清化、智能化的逐渐成熟,视频监控前端摄像机视频采集技术也在飞速发展,从早期的10万像素到今天的200万、500万像素,视频清晰度越来越高,视频画面中的信息量也越来越丰富。作为安防视频管理系统信息的最终集散地,存储技术引发了行业变革。那么,追根溯源,我国视频监控存储技术,经历了哪些变革呢?
被遗忘的存储记忆
第一代存储是早期的监控系统采用的VCR存储,VCR存储实现了最基本的记录功能或记忆功能。这个存储技术在2000年初较为盛行,韩国品牌为主,国内企业较少涉足。由于年代较于久远,而且磁盘存储的诸多不足,在这里不做详细介绍和点评。
从宠爱到非主流
第二代的存储是DVR,DVR产品的出现让人们眼前一亮,DVR采用数字化视频图像处理方式,并应用了计算机及网络技术,视频存储在硬盘上,实现了存储的数字化,录像很容易在各种数字介质上转移和复制,而视频的质量不会因此有任何的降低。另外,DVR的存储也可以实现远程网络的管理。从DVR开始,引爆了当时中国安防的数字化升级浪潮。杭州出现的上市部落那几家企业,都是从DVR产品开始企业的技术与资金的原始积累。就到目前为止,DVR仍有市场。不过,从宠爱到边缘化,只能说安防的演进之路,它算是一个见证者。
并驾齐驱的双雄之争
第三代存储,这里一直存在争议,有人说NVR,有人说是IP存储。其实这两种存储都是视频存储发展过程中的一个阶段,都可以归纳为网络存储。现在很多用户和工程商将网络和高清等同了,其实这是概念的错位,网络存储最重要的不是解决网络的问题,而是解决高清的问题。早期的IPC确实是解决网络的问题,模拟系统无法让终端的客户控制最前端的摄像头,所以IPC诞生了,随着IPC的发展,我们发现2012年之前只有网络才是解决高清的最好的方式。所以才导致很多人误将高清和网络混淆了。这样我们就很清晰的认识到第三代存储是网络存储,用网络手段解决了高清的问题。
网络存储最为常见的就是NVR和SAN,前者是由DVR发展而来的,DVR接模拟摄像头,改为接网络摄像机就是NVR了,所以NVR集成了DVR的各种技术,表现出产品非常成熟和稳定,非常适应安防行业。NVR这个概念有苏州科达提出,2008年当时是一石激起千层浪,引发行业其他巨头研发混合DVR与之抗衡。就目前应用而言,NVR自身技术也在升级,完全可以适合于小型高清项目应用。
IPSAN在安防行业出现也较早,在2005年到2011年之间,仿佛最早的集中存储方案,IP-SAN是存储的唯一选择。而2011年之后,IPSAN同门师兄(FCSAN诞生早于IPSAN),FCSAN在安防耀世而出,开始了征程。与IPSAN相比较,优势显而易见。
其一,能大幅提高系统架构的稳定性。一般来说IP SAN监控存储设备的磁盘控制器不是采用FC SAN存储设备中的硬件RAID芯片+中央处理器的结构,而是采用每个磁盘柜中分为多个磁盘组,而每个磁盘组由一个微处理芯片控制所有的磁盘RAID操作(采用软件计算,效率较低)和RAID组的管理操作。这样一来,每一次磁盘I/O操作都将经过IP SAN存储内置的一个类似交换机的设备从前端众多的主机端口中读取或者写入数据,而这些操作都是基于IP交换协议,其协议本身就要求每一个微处理芯片工作时需要大容量的缓存来支持数据包队列的排队操作,所以一般我们看到的IP SAN存储都具有几十个GB的缓存。利用这个大的缓存区,IP SAN存储在测试Cache的最大读带宽时可以获得600,000IOPS甚至以上这样高的值,但是这个值并不能真正说明在实际应用中就能够获得好的性能。因为在具有海量存储的时候,不可能所有的数据均载入到系统缓存中,这个时候就需要大量的磁盘I/O操作来查找数据,而IP-SAN存储所采用的SATA磁盘在这一块切切性能非常弱,而且还涉及到一个在IP网络上流动的iSCSI数据向ATA格式数据转化的效率损失问题。也就是说IP-SAN存储存在一个缓存Cache到磁盘的数据I/O和数据处理瓶颈。而采用FC磁盘的FC SAN存储设备就不存在这样的问题。通过2条甚至4条冗余的后端光纤磁盘通道,可以获得一个非常高的磁盘读写带宽,而且FC的磁盘读写协议不存在一个数据格式转换的问题,因为他们内部采用的都是SCSI协议传输,避免了效率的损失。而且FC SAN存储设备由于光纤交换和数据传输的高效性,并不需要很大的缓存就能够获得一个好的数据命中率和读写性能,一般2Gb或者4Gb即可满足要求。另外由于具备专门的硬件RAID校验控制芯片,所以磁盘RAID性能将比软件RAID性能好很多,并且可靠性更好。
其二,比IP SAN节省50%以上的项目建设成本,利于产品的再次升级或换代。FCSAN诞生于1991年(被美国的行业标准协会批准通过),一直应用在银行、电信、广电、证券交易所等高端行业,其中证券交易所是国家规定必须使用光纤存储,在以往光纤核心技术都在国外的厂家手里,使用成本很高。北京智慧仓存储技术有限公司在国内率先开发RAID算法,设备不需使用RAID卡;同时稳定支持用户自购的监控级硬盘,是用户购买费用大幅降低。而IPSAN诞生于2001年,专门开发的低端存储,以往的应用范围也不是很广,到了高清视频广泛应用之后,才大规模使用,成本只有市场上最低价格FCSAN的三分之一或四分之一。虽然IP SAN的千兆起步价格确实比较便宜,但今天的千兆以太网如果要在性能上与FC SAN一争高下的话,必须全部升级来达到下一代10G的速度才有可能与4G FC SAN相提并论。但目前来看,10G以太网技术主要应用在大型城域网骨干,10G桌面的以太网技术和产品尚不普及,10G IP SAN价格也远高于4G FC SAN。
最后,FC SAN解决了目前低端IP SAN存储的主要技术问题,如IP SAN常见的科学技术缺失(光纤通道技术、RAID技术等),可以大大改进存储的安全性、稳定性、磁盘兼容性和可维护性等。智慧仓的FC SAN是嵌入式操作系统,一般非嵌入式系统盘容为1GB,而智慧仓只有其十分之一,安全性大为提高。如果是非嵌入式系统,故障率一般较高,抗以外破坏能力也弱,断电等意外情况经常会导致系统重新启动或RAID不能正常组装。我们的RAID技术除了经济性高还有较高使用寿命,独有的配置方法可以保证多组RAID大量硬盘的运行稳定。此外,在售后中可以简单更换整机而无需重新初始化RAID,提供安全性。
IP SAN到今天为止,最快的传输速度约为50MB/s,而FC SAN早已达到200MB/s,那么,对于需要超大带宽的应用方案,如视频点播等,FC SAN就比较具有优势,但对于一般的联网、备份、资料库等,两者均可满足。
当然,在这个发展阶段,NAS\DAS也有出现并赢得了小众市场,毕竟非主流,不在这里介绍。
停在云端的存储新未来
云存储,这个炙手可热的新一代存储方式,牵动和行业神经。提到先进的存储技术就不能不讲到云存储。这是一种具有很大诱惑性的存储技术,云存储可以实现存储完全虚拟化,大大简化应用环节,节省客户建设成本,同时,提供更强的存储和共享功能。云状存储中所有设备对使用者完全透明,任何地方、任何被授权用户都可以通过一根接入线与云存储连接,进行空间与数据访问。用户无需关心存储设备型号、数量、网络结构、存储协议、应用接口等,应用简单透明。云存储对使用者来讲,不是指某一个具体的设备,而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储并不是使用某一个存储设备,而是使用整个云存储系统带来的一种数据访问服务。所以严格来讲,云存储不是存储,而是一种服务。可以说,云存储是安防未来的主流,但目前国内企业真正具备其技术的厂家较少,还有许多完善之处,特别是与大数据的结合应用。
值得一提的是,云存储不仅仅是存储,更多的是应用。应用存储是一种在存储设备中集成了应用软件功能的存储设备,它不仅具有数据存储功能,还具有应用软件功能,可以看作是服务器和存储设备的集合体。而云存储的基础层基本上是SAN存储,这些SAN数量庞大且分布在多不同地域,如何实现不同厂商、不同型号甚至于不同类型(如FC存储和IP存储)的多台设备之间的逻辑卷管理、存储虚拟化管理和多链路冗余管理将会是一个巨大的难题,这个问题得不到解决,存储设备就会是整个云存储系统的性能瓶颈,结构上也无法形成一个整体,而且还会带来后期容量和性能扩展难等问题。所以,云和SAN如何高效结合,是未来存储技术提升的关键。
结束语
对于当下视频监控存储技术,可以说群雄逐鹿。我们看待存储方式,不仅在于产品质量,更为重要的是该存储产品是否能和目前的行业应用现实相结合,同时还能顾及到未来的发展趋势,具有出色的兼容性。从目前来看,我国的安防市场,云存储的应用前景巨大,未来在以NVR、SAN为核心存储的基础上,存储架构也将有相应的改变。这是一个最好的时代,百花齐放才是春!