山西省农村信用社联合社(以下简称“山西农信”)是由山西省辖内市农村信用合作社联合社、县(市、区)农村信用合作联社(农村合作银行、农村商业银行)入股组建的,具有独立企业法人资格的地方性金融机构。全省农村信用社共有正式机构2932个,其中省级机构1个、市级机构11个、县级机构110个。省级机构在全省范围内行使管理、服务、协同及指导职能,而市级机构负责根据省联社要求对县级法人进行具体协调,县级机构负责具体经营决策。
一直一来,由于农村信用社多级法人的特殊机制,针对整体数据的分析应用及决策都是各省农信的薄弱环节。具体到山西农信来说,主要面临着以下几个问题:
大数据发展的需要:传统的统计汇总式的决策支持已无法满足系统处理海量信息、提供高效全面的金融产品和服务的需求。各级法人机构迫切需要使用大数据技术获取一些以前无法获得的信息,从而为智能决策提供立体多元化的支持。
各法人机构需求各异:目前山西农信有110个县级法人机构,由于山西农信多法人的特点,不同的法人机构决策需求不同,很难实现针对每一个法人机构进行单独数据分析的需求,以及各法人机构特色化经营的需求。
经济性及可扩展性:山西农信决策系统的建设原则包含经济性和扩展性,一方面,为了满足数据挖掘任务,需要采购小型机来满足高性能计算要求,前期投入硬件成本多,后期运维费用高;另一方面,随着农信业务的发展,数据量逐渐增多,数据系统需具备充分的可扩展性,保证后续业务的快速扩展。
针对以上问题,华为通过大数据平台FusionInsight为客户建立了“多级法人智能决策支持系统”,该系统包含数据采集平台、数据交换平台、数据整合平台、数据集市平台、模型实验室和决策支持应用平台,用以实现各级法人数据分析与特色化经营决策需求。
其中华为FusionInsight可帮助山西农信快速构建海量数据信息处理系统,通过对其内部和外部的巨量信息数据进行实时与非实时的分析挖掘,将账务系统数据、非结构化数据、外部数据等数据源进行实时采集,导入数据整合系统后将数据按主题划分,建立客户模型,实现为全省各级法人机构提供个性化、智能化的决策支持。
华为还通过传统MPP数据库和Hadoop大数据平台相结合,帮助山西农信建立大数据量、高并发、灵活的数据仓库平台。该平台根据银监会对山西农信法人机构的监管评级的等级结果进行分组,针对每组机构单独进行分析建模、数据挖掘,满足不同法人的不同需求。
此外,山西农信多级法人智能决策支持系统的大数据方案采用了业界流行的Hadoop分布式计算框架,具备处理海量结构化和非结构化数据的能力。该平台采用华为X86服务器构建Hadoop分布式计算框架,将以往需要高性能小型机才能完成的计算任务,分解为由计算集群来完成,在满足计算性能要求的同时,经济性方面比小型机更具有优势,节约总体拥有成本(TCO)20%以上;另一方面,该硬件平台中的服务器节点可以按需配置,使系统具备从TB级到PB级的数据处理能力,完全满足农信社当前与未来业务的扩展性发展需要,充分保护农信社的初期和远期投资。
同时服务器上还采用了Hadoop专用设备核心部件DA200数据压缩卡,该卡逻辑实现数据分块,多引擎并行压缩提升性能。并且,它内嵌GZIP算法,压缩和解压缩为独立设计,两者并行不影响性能。
山西农信相关负责人表示,华为的联合创新多级法人智能决策系统在未来将有效促进了各基层法人机构的经营发展,为进一步推行科学决策体系奠定良好基础,为山西农信转型升级提供重要科技创新动力。此外,凭借该“多级法人智能决策支持系统”,山西农信还荣获了“2017年度金融科技及服务优秀创新奖-产品创新突出贡献奖”。