分布式内存数据库技术研究

广告位

技术原理:  全内存分布式数据库架构分为六大层,服务层、编译层、执行层、联邦层、存储层和数据源层; 对外提供JDBC、ODBC链接,同时可对接主流数据分析软件Python和R,可对…

技术原理:

 全内存分布式数据库架构分为六大层,服务层、编译层、执行层、联邦层、存储层和数据源层;

对外提供JDBC、ODBC链接,同时可对接主流数据分析软件Python和R,可对接可视化管理平台和报表分析平台等;

支持在终端登录及在Web端操作数据库,简单易操作,具有易用性;

分布式架构体系提供了扩展性,集群通过设置聚合器管理参与计算与存储的叶子节点,保障了服务和数据的稳定性及可靠性,可提供7×24小时不间断服务;

数据支持分区,在分布式架构的支持下,数据在集群中的节点间自动分割,提升查询性能的同时,支持高可用性;

数据联邦功能提供对跨源异构数据的访问,提供同时对多个数据源内数据的查询与计算;

采用MPP分布式架构体系,提供高并发、高容错数据分析能力,具备高性能、高容错特性;

同时支持的行存和列存;

支持独立主机、虚拟机、容器化部署,单节点可实现每小时 6T 数据导入,每分钟400万并发写入。

在数据中台,通过WEB页面实现对资源的管理;

充分利成熟云计算技术,数据中台每个租户一个VPC,实现从底层数据隔离;

通过云主机的本机云硬盘,实现单机数据可靠性;

对用户业务程序提供标准SQL接口,便于用户程序的对接;

支持将全内存分布式数据库内容快速备份到云存储。

解决关键问题:

多源异构数据的统一连接:数据中台通过全内存分布式数据库,采用多源异构查询连接器组件,将客户不同类型、不同部门、不同地区数据源,在不需要数据迁移及不改变原有数据库架构的前提下实现统一接入、采集、查询和统计分析,无须数据同步及ETL处理工具,避免了数据迁移时可能带来的数据丢失、数据泄露等风险。

基于全内存的分布式海量数据实时分析处理:采用的是全内存的物理环境,当对数据进行增、删、改、查等操作时,无须先将数据加载到内存,直接在内存里就可以对所有数据进行运算,实现高效地查询、分析和关联,在流程上有效地节省了数据加载至内存所需的时间,从而突破传统数据库的IO性能瓶颈,提升全内存分布式数据库对海量数据的查询分析性能。

支持ANSI SQL标准:以此作为统一接口,包括DDL(Data Definition Language)、DML(Data Manipulation Language)、TCL(Transaction Contorl Language)和数据库工具支持,能与市场上各行业的相关应用进行无缝对接,具有很好通用性和兼容性。

大规模多维度数据实时分析计算技术:支持大规模多维数据的实时分析,数据量通常要达到TB级、PB级,甚至更多。全内存分布式数据库对海量数据除了基本的增删改查操作外,还能够完成对比分析,找到数据之间的潜在关系,并把它们关联在一起,从而形成一连串有价值的数据,通过可视化界面展示出来,为市场调控、业务决策、制定发展规划等提供精准地信息决策支撑,实现数据价值的变现及业务转化。

持续运行的高可用性和高扩展性:基于分布式架构,全内存分布式数据库具备更强的高可扩展性和连续运行稳定性。全内存分布式数据库的分布式架构会有多个计算节点,这些节点既可灵活扩展,又共同组成了一个大的集群。当集群中某个节点在运行出行故障,其它节点仍在继续运行,并接管该故障节点的任务,也就是整个集群仍然能进行数据处理,数据库系统仍在持续运行,从而保障业务24小时不间断运行,提供极强的高可用性。

推广情况:

广泛用于中国移动通信集团总部及各省公司,用于大数据分析、精准营销等场景。同时为自治区防疫、旅游、金融等行业大数据服务提供支撑,覆盖全区企事业单位达589个。

经济效益:

(1) 全内存分布式数据库增强数据中台能力,从而提升数据应用前端开发效能;

(2) 降本增效:集成全内存分布式数据库升级后的架构综合成本要显著低于现有国外Teradata架构;全内存分布式数据库能与现有应用高度兼容,附加迁移成本低;

(3) 如果持续使用Teradata数据仓库架构,需要新扩容3个节点,扩容费600万元,同时系统维保费用286万元/年,使用内存分布式数据库技术可节约相关成本;

(4) 通过分布式内存数据库技术的应用,提升了一线人员营销成功率,2020年完成订单50万笔,包括5G订购、家庭产品订购、流量营销等,直接收益750万元。

社会效益:

数据库是数据处理的基础支撑,是大数据产业的三大基础产业之一。国家高度重视信息化的安全性、保密性、可靠性,倡导基础软件的自主创新和国产化。国内数据库厂商基于主导的国际标准、自主安全可控的国产科技,针对国际巨头甲骨文、SAP进行高端数据库国产替代,在本行业解决“卡脖子”技术,发挥重要作用的关键工艺技术突破项目。

经费来源

企业自筹

 

为您推荐