华为云技术私享会：揭秘 300% 数据库性能提升原理

科技改变生活,技术改变世界。8月25日,华为云技术私享会深圳站在南山科技园圆满结束。本次活动围绕数据库展开,分享了以 MySQL 为代表的关系型数据库、以及以 MongoDB 为代表的 NoSQL 数据库技术新趋势,并通过现场实战演练和动手体验,为初秋的深圳技术人员带来一抹亮色体验。

本次分享会的讨论包括《 MySQL 云数据库的性能优化和发展趋势》、《华为云原生(Cloud Native)分布式数据库技术》、《MongoDB 在云上的计算与存储分离架构实践》、《华为云数据库体系及优势解读》、《云时代数据库迁移的新挑战与新玩法》等主题,全面介绍了华为云数据库服务及技术全景,并就行业最新动向展开讨论。

在云时代,企业IT业务走向跨地区、全球化部署,IT应用软件逐渐云化、分布式化,要求数据库也要基于云场景架构设计,具备跨地区分布式部署的能力。华为云技术专家总结了传统数据库上云或云服务化遇到的问题,同时深入介绍了华为云原生分布式数据库的技术原理和最佳实践。

在《MongoDB 在云上的计算与存储分离架构实践》主题分享中,针对华为云近期推出的 MongoDB 社区增强版,专家团队就如何将其性能提升到 300% 的技术揭秘引人入胜,引发大家热烈讨论。

开源 MongoDB 的困境

众所周知,MongoDB 作为全球流行度最高的 NoSQL 数据库,强大的扩展性使其在流量具有强爆发性的场景使用中如鱼得水。在现今互联网直播、游戏业务、物联网大数据盛行、业务流量峰值波动大的情况下,MongoDB 尤受企业欢迎。

但是,随着企业发展和数据的不断累积,满足业务性能与数据存储容量的需求也日益增长。在长时间的使用过程中,MongoDB 扩容时性能差、扩容耗时长、扩容成本高、存在资源浪费等缺点也逐渐显现出来。

究其原因,还是在于传统开源 MongoDB 采用的三副本架构本身。

首先,开源 MongoDB 集群扩容以 3 节点为单位,扩容成本高,Secondary 节点平时并不处理业务请求,造成资源浪费。此外,固定的节点复制关系,不能容忍任意 2 节点以上的故障,节点故障数据重同步时间长,长时间处于降级状态,故障重构能力差。

由于存储数据使用本地文件系统,每一个 shard(分片) 节点之间数据是相对独立的。当扩容时,需要将已有节点的数据均衡到新节点;因为数据独立存在,所以要对数据进行网络拷贝;也因此,MongoDB 扩容后性能不能立即得到提升。

此外,数据拷贝对节点资源消耗很大,出于对整体性能的考虑,MongoDB 限制了数据迁移的速度,导致集群横向扩展不能及时完成;

以上种种,都在很大程度上限制了 MongoDB 的使用场景范围。

那么,华为云 MongoDB 社区增强版,是如何从技术上解决这些难题的呢?

增强版 MongoDB,从内核开始改造

华为云 MongoDB 社区增强版,完全基于游戏业务、互联网应用、大数据等场景研发,采用计算和存储分离的全新架构,是典型的 Cloud Native (云原生)文档数据库。在技术上,更是通过一系列自研黑科技,将整体性价比提升 3 倍。

将 MongoDB 的多副本复制功能卸载到分布式存储,使得 Secondary 节点也可以为读写服务,相同成本下获得 3 倍的计算能力,进而获得 300% 的读写性能提升。

将 MongoDB 数据库节点无状态化,将数据和计算节点分离,去掉数据强归宿某个计算节点的限制,使得横向弹性伸缩性能提升 100 倍以上。

打破 MongoDB 只在单个 Shard 副本集内节点间复制 3 副本的限制,分布式存储采用分片复制能力,磁盘故障后可以由更多磁盘参与数据重构,10 倍缩短数据重构时间。

使用分布式存储的快照备份技术,替代 MongoDB 的逻辑备份,10 倍提升备份恢复性能。

采用存储计算分离架构,扩容步长仅 1 个节点,提升扩容效率,降低扩容成本。

打破 MongoDB 只在单个 Shard 副本集内支持 HA 高可用的限制,集群内所有 Shard 的所有节点都互为 HA 备份关系,使得可以支持任意 N-1 个节点故障。

社区版原生集群架构与华为云 MongoDB 社区增强版架构

目前,华为云 MongoDB 社区增强版处于公测期间,但在性能测评中的表现却相当抢眼。在数据量为1 .6亿文档(160GB)时,2Shard 扩容到 4Shard 时,耗时从原来的 30 小时减少到 2 分钟,不但扩容时间缩短了上百倍,而且扩容期间性能更加平缓。

华为云数据库依托于华为30多年的技术实力,结合机器学习算法,已为多次大型海量并发交易与金融级数据安全提供坚实的技术支撑。截至目前,华为云已上线 16 大类超过 120 款云服务,涵盖制造、医疗、电商、车联网、SAP、HPC、IoT 等领域60多个解决方案。

此外,华为的业务性质,决定了其在尊重租户数据主权,坚持中立、客观立场方面的独树一帜。在任何场合,公司也承诺恪守业务边界,不碰租户数据,不会利用租户数据谋取商业价值。

由此可见,华为云数据库无论在技术底蕴上、生产环境运用上、还是在安全保障方面,均具有得天独厚的优势。

HUAWEI CONNECT 2018作为华为自办的面向ICT产业的全球性年度旗舰大会,将于2018年10月10日-12日在上海隆重举行。本届大会以“+智能,见未来”为主题,旨在搭建一个开放、合作、共享的平台,与客户伙伴一起共同探讨如何把握新机遇创造智能未来。

 

252