DDE(深度时间数字地球)是一项备受国际地质科学研究会(IUGS)认可的重要科学计划,融汇了来自全球的500多名专家和26个国际组织机构共同的智慧与力量,旨在建立一个连接地球科学信息的综合性研究平台。该计划主要通过大数据分析、互联网云计算、数据挖掘、机器学习和人工智能等先进技术,整合全球演化数据,共享地球科学知识,深入洞察地球环境与资源的现状,推动地球科学研究的革新,与全人类一起迎接新时期所面临的环境与发展挑战。
DDE不仅仅是一个科学计划,更是一个影响深远的全球合作平台。通过整合全球数据和知识资源,DDE为地球科学研究提供了前所未有的机会和工具,促进了学术界和产业界的紧密合作,推动了地球科学的发展和创新,并成为了解地球环境与资源和应对全球挑战的关键驱动力。
2021年9月,阿里云成为了DDE云基础架构的服务提供商,为DDE提供数据分析、云计算和人工智能等多个领域的全方位支持,进一步提升了DDE的技术和创新能力。
DDE作为一项全球范围的跨学科合作项目,在对全球的数据进行同步的过程中,需要大量使用AI、机器学习和大数据分析等多种云资源。随着DDE项目的持续推进,在推进的过程中面临着一系列挑战,而现阶段的挑战主要体现在以下两个方面:
挑战1:DDE项目对于云服务器在web(https)场景中的高效稳定处理并发负载有着极高要求。这意味着云服务器必须具备卓越的处理能力,以确保数据能够顺利传输和加载,降低延迟和减少潜在的故障风险。
挑战2:DDE项目需要缓存海量数据,在数据存储过程中除了需要兼顾数据库容量和性能,还需要着重考量数据库的成本。这要求项目所选的数据库在承载海量数据和高效执行读取编写操作的同时,不会引起过高的成本负担。
Lightning Cloud作为阿里云的全球战略合作伙伴,有幸承担了DDE项目云架构搭建和数据迁移工作。为了进一步提升服务器性能和降低数据库成本,我们与Intel展开合作,探索应用新技术,挑战更低成本实现更高性能。
在这次合作中,Intel提供了第四代英特尔至强处理器,以提升服务器性能。这款处理器内置多种加速器,并包含了加解密领域的指令集Crypto-NI,能够批量提交多个SSL请求和并行异步处理,从而显著提升服务器性能。无论是处理人工智能、数据分析、存储还是科学计算等工作负载,该处理器都能够快速响应,满足不断增长的需求。此外,该处理器还支持多云部署和扩展,并具备高度灵活性,能够满足DDE项目不同层级的应用需求。
鉴于第四代英特尔 至强 处理器的卓越性能,我们与Intel合作制定了一项关于该处理器对云服务器性能提升效果的产品测试方案。通过测试,在数据处理效率、延迟等得到了大幅度的提升优化。
本次的测试方案分为以下两个部分:
1、在 web(https) 场景下部署第四代英特尔至强,通过 ApacheBench 对阿里云ECS服务器实例进行模拟并发的负载,并测试在不同负载类别下服务器的强度和整体性能,再通过阿里云控制台观察服务器负载,分析生成应用测试报告。
2、使用memtier_benchmark对8G 内存规格的redis 社区版和Tair持久内存版数据库进行随机的读写操作,并在读写和混合读写(3:7)的测试场景下,对比两个版本数据库的性能差异。
在 Lightning Cloud 和Intel的共同努力下,我们最终完成了产品测试,并获得理想的测试结果:
1、ECS的 web(https) 场景测试结果显示,在使用了第四代英特尔至强后的模拟并发请求静态页面和动态页面测试中,测试总耗时平均降低了28%,中位数平均响应时间降低39%,有效提升web性能,并保障了ECS处理并发负载时的平稳运行。
静态请求
(未使用第四代英特尔至强)
(使用了第四代英特尔至强)
动态请求
(未使用第四代英特尔至强)
(使用了第四代英特尔至强)
2、两个版本数据库的测试结果显示,Tair持久内存版的查询每秒(QPS)性能相比社区版下降约10%左右,但响应时间方面的差异并不显著,完全可以满足客户需求。并且在进行数据持久化(存储为aof文件)时,Tair持久内存版性能仍然表现出色,确保了数据的可靠存储。
64k社区版
64k Tari 持久内存版
此外,通过使用Tair持久内存版进行数据库的优化,项目的综合成本支出降低了28%,在保障了数据库性能的同时,还实现了成本的有效优化。
基于测试的结果,我们共同优化了服务器的性能和数据库的成本,为DDE项目的开展提供了有效助力。这次与Intel 的合作不仅仅是技术上的结合,更是双方共同追求卓越的结果,通过我们的携手合作,加速了DDE项目的整体推进。
作为一个全球性的大型科学计划,DDE将继续秉承着数字技术驱动的现代研究方法,通过知识共享和数字革命,促进前沿科技发展,不断解决全球性的地学问题,推动地球科学发展进入新时代。能够参与到该项目中,我们深感荣幸,我们相信,通过我们提供的技术解决方案,将助力DDE项目的进一步的推进,为全人类的环境与发展做出更大的贡献。
关于Intel
Intel 创始于1968年,是半导体行业和计算创新领域的领先企业,拥有50余年的技术创新和产业生态耕耘的成功经验。随着计算机的不断普及,Intel 推动了全球计算机和半导体行业的快速发展,并成为计算机和半导体生产的科技巨擘。
如今,英特尔正在转型为一家以数据为中心的公司,致力于做可信赖的性能领导者,并释放数据的无限潜能。今后,英特尔将与合作伙伴一起,共同推动人工智能、5G、智能边缘等转折性技术的创新和应用突破,驱动智能互联世界,帮助全球用户应对重大挑战。
关于Lightning Cloud
Lightning Cloud 是阿里云的全球战略合作伙伴,专注于多云计算业务的创新开发,为全球客户提供云计算、大数据、安全与合规等全业态产品服务和解决方案。公司在新加坡、印度、马来西亚、美国等地设有分部。经过十余年的技术沉淀和经验积累,Lightning Cloud 自研开发多款自研全球SaaS应用平台,实现客户对多云资源的高效使用,加速其全球业务布局和数字转型。