智能化管理10亿文件,G证券是如何做到的?

证券公司每天产生的数据中80%以上是非结构化数据,持续的数据增长,证券服务向智能化、敏捷化、价值化方向发展,对后端存储提出了挑战。

1、变革的动力:证券信息化升级

以影像、图片、扫描件为主的非结构化数据激增,数据量从TB级向PB级跃进。每年新增大量应用,复杂性增加,海量文件的访问性能面临新挑战。

机构内部业务繁杂,存在数据壁垒,需搭建统一数据平台,提高跨业务共享效率。技术演进推动应用的容器化部署,这要求存储吸收容器技术提供持久化存储服务。利用大数据的价值,借力AI实现业务创新,比如智能运维(AIOps),进一步降本提效也是大势所趋。如果存储自身能够提供AI能力,支撑智能运维,自然是锦上添花。

G证券公司(后文简称“G证券”)选择分布式存储,开启了集约式数字化档案管理的全新探索。

2、变革迫在眉睫:长期痛点驱使新方案落地

从外部环境来看,2014年以前,证券业客户档案都采用营业部分散管理的方式,风险多,一线员工压力大,掣肘业务开展。从内部需求看,业务数据以小文件为主,且增速很快;加之“双录”规范要求文件保存20年且随时调阅,存储性能严重不足。

G证券面临痛点如下:NAS存储7000万文件,秒级延时性能差;NAS瓶颈凸显,扩容困难;多站点管理不便,主备中心难以高效协同;业务高峰期带宽不足,资源无法合理分配;大文件读取慢,视频播放卡顿,用户体验差;人工运维效率低,构建智能运维平台是刚需。这一切促使G证券面向市场寻求新的存储解决方案。

3、众多方案角逐:G证券为何选择杉岩?

备选方案中,一类是传统存储方案,即用高端NAS满足需求,但未来频繁扩容以及性能瓶颈依旧令人头疼;另一类是分布式存储方案,其在容量、性能、扩展性等方面具备天然优势。

针对前述痛点,方案选型需关注:PB级容量,灵活扩容;性能无瓶颈,访问性能高;运维简单,效益显著;测试对接顺利,业务上线快;售后及时,提供原厂支持。

竞争者中不乏传统存储领域的知名大厂,以及新兴存储领域的创业厂商,杉岩最终凭何赢得G证券认可?

产品及方案完善

杉岩MOS海量对象存储支撑5亿文件毫秒级访问。独有的AI处理引擎,帮助优化质检算法。已接入MOS的业务,无需开发元数据的迁移功能,元数据检索和主数据读取均在MOS内部完成,效率显著提升。

杉岩的三层数据保护方案也让客户感到放心:通过副本和纠删机制,提高数据可靠性;通过内置备份功能,取代外置的备份软硬件;通过跨数据中心容灾,保障业务连续性。

测试结果优异

客户主要关注MOS能否与现有业务顺利对接,以及产品可靠性和稳定性。MOS的S3接口顺利通过接口测试,客户仅用一个小时就完成了单系统对接。近一个月的异常测试,杉岩都顺利通过。

实施服务周到

客户只对原业务进行微小改造,就将原数据无缝迁到MOS。为不影响证券交易,项目实施都在18:00到第二天06:00进行,服务周到。

4、海量、智能、敏捷,杉岩为档案管理提供新选择

先从档案中心宏观架构入手,如图1所示,MOS将源数据区的数据存下来,并与计算层交互。通过部署同城双活,实现RPO分钟级灾备。

智能化管理10亿文件,G证券是如何做到的?

图1.G证券档案中心整体架构

具体到解决方案的实现,如图2所示。

(1)MOS替代NAS,保障毫秒级访问;利用小文件合并提升空间利用率;

(2)基于分布式架构,扩展灵活,容量和性能线性增长;

(3)跨数据中心双活模式,多数据中心可同时读写,保障高连续和高可用;

(4)通过智能QoS合理分配带宽和优先级,避免资源抢占;

(5)营业网点通过HTTPS访问存储,提升文件读取效率;

(6)MOS告警信息通过SNMP对接G证券告警管理平台,实现精细化监管。

智能化管理10亿文件,G证券是如何做到的?

图2. 杉岩解决方案架构

2017年6月,MOS正式上线,部署12台服务器、4台交换机及百余块硬盘,构建1PB存储集群。

业务数据逐步迁移,MOS支撑5亿文件毫秒级访问

经过半年多稳定运行,G证券逐步将一柜通柜台、投研平台等接入MOS。由于数据增长,原有空间不足,客户在2019年进行首次扩容。通过新建EC故障域将空间利用率从50%提升到67%,成本效益显著。

截至2020年3月,存储集群裸容量超过800TB,对象总数超过5.6亿,每天写入文件7万多个,时延低于百毫秒,性能表现让NAS难以企及。

MOS对接日志易系统,以智能存储支撑智能运维

为构建智能运维(AIOps)平台,将日志易系统迁至MOS。基于分布式架构保障高可用,降低硬件变更的影响;利用MOS特性赋能AIOps,如通过智能QoS实现资源优化;借力AI优化运维策略。

MOS集成智能数据处理引擎,充分释放数据价值

MOS独有的智能数据处理引擎,帮助优化质检算法,释放数据价值,实现了数据存储、处理、灾备、价值发现的一站式管理,如图3所示。

智能化管理10亿文件,G证券是如何做到的?

图3. 杉岩解决方案架构

如图4所示,客户借助可视化界面,清晰掌握集群状态,方便又省心。

智能化管理10亿文件,G证券是如何做到的?

图4.MOS图形化管理界面

MOS至今稳定运行2年10个月,未出现任何故障,赢得了客户赞许。

5、档案管理能力显著提升,帮助客户实现更大价值

MOS帮助G证券构建集中式数字化档案管理平台,带来明显改观。客户可在全国任一网点办理业务,所有营业部可共享使用数字化档案,在线查阅和借阅客户资料更方便。档案中心可对双录视频进行内容检查,如人脸是否清晰、有无公司标识,系统审核不通过再人工复审,效率高。

新方案的经济效益也十分明显。MOS每TB的价格相比高端NAS低50%左右,省去文档格式转化集群、水印集群所需的硬件设施,节约成本近10万元。

未来的架构演进方向,一是结合MOS的智能数据处理引擎,释放数据价值。比如:利用AI优化质检算法;通过格式转换工具,精简数据结构,提升数据质量;以AI赋能运维,降本提效。二是拥抱互联网金融,加速容器部署,提升微服务能力。

G证券档案管理平台的成功实践,验证了杉岩产品及方案的高品质,也为今后的行业实践打下坚实的基础。

猜你喜欢

转载自blog.51cto.com/14636092/2497651