随着行业的不断发展,各地项目的深化设计和建设,智能化业务普及以及主流场景化更加清晰明确,形成了对云存储的新一轮挑战。
1、智能化和数据价值差异带来的影响
(1)大规模的图片流分析的边写边读
随着2018年智能化在安防的大规模落地,针对图片的分析,视频流的结构化都变得更加普及或成为标配。在此之前视频和图片仅需保证高性能的存储进去,并不存在大规模的实时读取,读取无非是视频上墙和视频调阅分析。现在随着图片流的结构化,需要针对前端抓拍记录中的图片写入后,在后端环节可以实时调取进行分析,或者由于网络建设原因,需要实时读取同步到公安网内进行存储或分析。
(2)大规模的特征存储和高并发加载
图片、视频分析形成的特征值,需要实现高速存储,高并发批量加载,以解决传统单机智能服务器内存储存在的单机故障、读写性能差等问题。
(3)磁盘容量更大和IO性能未提升的冲突
机械磁盘的单盘容量已经从早先的3T持续突破到10T、14T、16T。其中10T机械磁盘已经逐步在行业内应用。在磁盘容量增多的同时,机械盘每个磁盘随机200个IOPS/s的性能却并没有提升,无法按照传统的容量换算形成多少路的存储能力,还需更精细化计算读取带来的开销,以及针对不同存储类型的数据形成不同的存储资源池,针对图片、特征等小IO和高性能访问的数据加载更多的内存和固态硬件进行数据加速。
2、更大规模集群和网络问题
随着监控点位增多,高清化相机的替换,存储数据种类增加,存储周期的增长,以及数据分析对统一存储池的要求,安防这块云存储的单集群规模会持续增长,带来的管理节点数和存储空间,元数据压力持续增大,未来单集群突破100PB+的实战项目必然持续出现和增多。原有的云存储的集群管理多数通过一组元数据管理会产生节点和元数据管理的压力,需要可横向的向元数据集群化扩展,全局存储节点形成统一存储池对外提供读写。集群规模增大的同时会带来网络拓扑复杂度,以及节点数故障率的增加,使异常更加隐蔽和难以排除。需要更智能的网络抖动、网络故障、节点故障的隔离,以及更加合理的数据分组,才能更好的发挥调动整个系统的性能。集群规模的增大,传统支持2个节点或3个节点的故障,在几百上千台的集群中将会显的不够用,因此还需要更加可靠的故障冗余能力,容忍更加多的节点故障。
3、传统的云直存到超融合架构
随着智能化的普及,智能卡的算力增加,在某些场景下云存储会从原有的云存储+视频监控形成的云直存模式超融合形态发展,形成一体化的融合存储,提供设备管理+视频图片流的接入和存储+结构化智能分析+记录存储和查询的综合能力。
4、一云多域异地化
在公安等行业,实际会存在机房不够,无法集中将资源放在一个机房内等问题,由于各区县点位到市局中心机房带宽不够,无法在单机房内完成部署和建设,以及其他实时性要求、资产归属、多警种融合等原因,导致无法中心化集中化建设。这就需要通过一云多域实现异地化部署和统一管理,对上层业务形成统一的一朵云。全局实现统一就近接入、统一管理、统一就近存储、统一就近分析、统一查询等功能。
5、初期建设规模小、多期分布建设
随着云存储的补齐,小项目初期会由于经费问题无法配置一套标准的云存储系统,这是就存在超小规模的云存储需求,需要随着后续的多期建设,可持续的扩容,完成迷你云存储向超大规模云存储的可无缝横向扩展的要求,并实现在扩展过程中数据不丢失,业务不中断。
对于安防行业云存储发展而言,自研的云存储系统将会带来更大的机遇,可更快速在产品和技术上形成持续突破,联动业务形成适合安防的云存储。未来,云存储将会从安防云存储1.0仅满足视频监控业务的海量存储和大规模写入,向安防云存储2.0更好的全面融入业务,实现更大规模、更智能化、差异化存储以及实时写入下高并发读取的方向发展。
作者:江文龙 浙江大华技术股份有限公司大数据研究院
来源:《中国安防》杂志