首页 > 资讯 > 正文
Qzone
微博
微信

ExponTech WiDE无量数据引擎亮相,为什么值得关注?

资讯 TOM    2022-02-25 15:34

近日,华瑞指数云科技有限公司(以下简称“ExponTech”)重磅产品新一代分布式数据存储引擎——WiDE无量数据引擎正式亮相。WiDE寓意可以存储无量无边的数据,产生无法估量的数据价值。

ExponTech CTO曹羽中表示,WiDE是ExponTech践行构建“以数据为中心”的下一代智能数据基础架构愿景的重要基础之一,ExponTech希望WiDE能够在软件定义存储和高端存储之间架起一座桥梁,激发业界对于数据存储软件技术革新的热情。

回望存储十年,下一代存储将如何变革?

伴随数字化转型的持续深入发展,各行各业采集和保存数据量与日剧增,而数字基础设施正在向分布式云(边缘云、私有云、多公有云)形态演进,与此同时,人工智能、深度学习、高性能数据分析等数据驱动型新兴业务形态对数据存储系统提出更高的要求。如何在离散的数字基础设施上有效存储和管理海量数据,如何服务新兴业务形态所需的混合高性能负载,是数据存储面临的突出挑战。

当前一代软件定义存储(我们称之为SDS 1.0),实现了软硬解耦,水平扩展,但无法回避的问题是,软件堆栈的巨大时延无法全速发挥日益普及的高速介质(闪存和SCM)的性能,性能表现一般,主要适用在中低端传统非关键业务场景。

另一面,以全闪存阵列为代表的高端存储则几乎相反,软硬一体化,性能极好,可靠性高,但价格昂贵,扩展性有限,以块存储为主,常用于核心业务,比如高端数据库。

当下数据是不可或缺的生产要素,丰富和流动的生产要素才能实现价值最大化。典型如机器学习场景,需要从边缘、公有云多个离散位置,通过不同的数据接口获取海量数据进行模型训练,数据呈现至少热温冷三种使用状态,20%的热点数据要求存储系统兼具高带宽和低时延能力,80%的冷数据需要长期高性价比保存且随时可能转化为热温状态使用。如果用户不得不部署多套存储系统来应对,割据数据孤岛,阻碍数据流动,人工智能是无法应对瞬息万变的现实世界的。

如何突破现有瓶颈,让一个存储平台能统一管理边缘和混合多云环境中离散的数据,兼顾各种不同业务负载的性能需要,还能高性价比的保存百PB级以上规模的数据,已经成为存储业界共同面对的课题。这个课题不是现有的SDS 1.0产品或高端存储产品独力所能解决的,是存储下一个十年的重点突破方向。

ExponTech认为,上述挑战的破题必须要采取措施弥合SDS1.0和高端存储之间的鸿沟,其关键在于存储架构的变革,如何通过一套全新的软件定义存储架构以云原生的形式在多样化的数字基础设施中统一管理数据,全力发挥不同存储介质的性能,承载各种不同的业务需求,这也是ExponTech研发WiDE的出发点。‍

WiDE,一套软件定义架构承载全场景数据存储需求

WiDE致力于打造一个全新的软件定义的存储架构,让分布式的水平扩展能力和高端存储的性能优势充分融合,进而帮助客户更好的应对数字洪流时代。

ExponTech WiDE无量数据引擎亮相,为什么值得关注?

 WiDE无量数据引擎架构示意图

 

为此,WiDE着重在三个层面进行了架构创新:

首先,WiDE自主研发了Astrapi极速I/O引擎。Astrapi采用RTC和全栈无锁化架构,形象的解释相当于为每个I/O建立一条端到端的高速真空隧道,全程无阻力也没有红绿灯、检查站、停靠等待等消耗时间和资源,使得I/O的传输和处理能够一站到底全速完成,从而让I/O效率有了指数级的提升,也大幅节省了系统的资源消耗。

实测数据显示,相较传统架构,采用RTC和全栈无锁化架构后,处理一个IO的总耗时,由原本的400多微秒大幅降低至几十微秒。‍

其次,WiDE采用MultiNet双栈网络技术,支持线程级别双栈网络,其中各种存储池既可以通过RoCE v2协议访问,又可以通过TCP/IP协议访问,可以根据性能要求和物理网络的条件来配置,做到一条链路两种协议可以自由切换,给企业带来不同性能体验的同时,带来不同的性价比收益,真正给企业带来灵活的适配能力。

再者,WiDE通过全局元数据管理引擎将元数据平面和数据平面分离,在核心数据引擎之外独立实现全局的元数据管理,这样做的好处是核心数据引擎更精简更快更可靠,而数据分级、数据流动、数据快照等各种功能可以在核心引擎之上叠加实现。在全局元数据的支持下WiDE可以实现一套核心数据引擎支持许多种不同的存储协议和数据接口,还可以实现不同协议和接口之间数据互通,做到同一份数据,多种协议可以访问!在全局元数据管理能力的加持下,还可以实现数据跨越多池做调度,跨越多云和边缘进行流动,进行统一数据管理,形成统一的数据平面。

ExponTech WiDE无量数据引擎亮相,为什么值得关注?

 

除此之外,WiDE还有两个特点值得一提。

一、WiDE首创多维度存储可组合式架构,其中基础模块非常精简,不绑定特定硬件和环境,不依赖于外部框架和平台,大量高级功能模块、存储服务模块和协议层模块都可以根据实际需求进行选装,给予用户最高的灵活性。

二、WiDE完全是云原生架构,支持数据中心、公有云、私有云、边缘云等各种环境下的部署。

通过整体架构的全面革新,WiDE解决了软件定义存储“上不去”、高端存储“下不来”的问题,为不同业务拉通数据平面打下了坚实的基础。

实测显示,WiDE能够充分发挥硬件优势

为测试WiDE实际性能,ExponTech借助第三方环境进行了详细的测试。实测环境,存储侧由3台服务器组成一个小的存储集群,每台服务器配置:

两块Intel最新发布的P5800X Optane SSD用于数据存储;两个25GE网口组bond;主机侧使用1台服务器;配置1个100G网口;网络采用RDMA方式互联。

使用FIO工具实测单卷性能,单队列读写最小时延小于100微秒,并发随机读写峰值性能可达到120wIOPS,且并发时延进入亚毫秒级(小于1ms)。由于本次测试采用3副本机制,换算过来总带宽达到10GB/s,这意味着主机侧的100GE网卡已经跑满。

ExponTech WiDE无量数据引擎亮相,为什么值得关注?

在另一组测试中,将每台服务器上的两块Intel Optane SSD,换成5张普通NAND NVMe SSD。实测单卷性能表现尽管比基于Optane SSD的测试略有下降,但并发随机读写可以达到90w IOPS,而从时延的角度看使用NAND NVMe SSD的端到端时延明显高于使用Intel Optane SSD的时延。

ExponTech WiDE无量数据引擎亮相,为什么值得关注?

普通NAND NVMe SSD与Intel Optane SSD对比,两种裸设备的性能数据有明显差距,但是由于传统的分布式存储软件栈性能能力比较弱,无法拉开二者的差距。而借助WiDE极速能力和极低时延的IO栈,能真正端到端的发挥出Intel Optane SSD的明显优势。

实测数据显示,WiDE彻底解决了当前的软件定义存储软件架构落后于硬件的发展的问题,可以充分发挥出新兴介质和新兴网络的性能优势,这将再次激发硬件创新的激情。而且值得一提的是,WiDE在达到极速性能和超低时延的情况下,对系统资源的消耗也非常低。

WiDE,开辟SDS2.0新时代

随着WiDE的发布,数据存储系统创新将迈入新的阶段,软件定义技术将得到更加广泛的应用,软件定义存储进入2.0阶段:

01WiDE的发布,让整个SDS和分布式存储系统的性能瓶颈再次回到了硬件本身,NVMe、Optane等新技术、新介质的优势不再只有特定的高端存储环境下才能发挥,存储新技术进入寻常百姓家的时间将大幅提前,这还将倒逼硬件加速创新。

02SDS的业务覆盖不再局限于不太重要、对性能要求不高的业务场景。在高性能数据分析HPDA、高性能云主机、高性能数据库底座、混合多云数据平台等过去只有高端存储才能满足的场景中,SDS同样会得到广泛使用。

03数据存储的边界和应用范围得到极大的拓宽,基于统一的数据存储引擎形成跨越混合多云和边缘统一存储平台,可以跨越数据中心,多朵公有云及边缘,实现数据的全透明化管理和调度,业务感知和业务视角下的数据流动,具有更全面的数据视角,而不仅仅是存储视角,通盘考量南向数据存储和北向数据服务,提供越跨越数据中心,多朵公有云及边缘的丰富的数据调度,元数据管理能力,数据管理变得更加简单易行,彻底解决数据孤岛以及数据管理和数据价值利用的挑战。

04适应全面云化的要求,全容器化部署和微服务化管理,实现跨混合多云和边缘的极简部署,故障自愈和智能运维,完善适配和支持云原生应用。

05组合式架构:从数据感知,IO感知的角度组合整合分布式云环境(私有云、多个公有云,边缘)中的存储资源,提供不同IO模型,不同性能和可靠性要求以及许多种协议接口(SCSI, S3, POSIX, NFS, CIFS, CSI, HDFS等) 的自由组合及灵活部署使用。

未来,WiDE引擎将持续进行技术创新,推出不同型态的产品,与数据基础设施产业的上下游伙伴加强合作形成丰富的生态,助力国内数据存储和国产系统软件发展。相信会有更多分布式存储及SDS厂商加入进来,一起推动SDS 2.0时代。

 

责任编辑: WY-BD

责任编辑: WY-BD
人家也是有底线的啦~
广告
Copyright © 2018 TOM.COM Corporation, All Rights Reserved 雷霆万钧版权声明
违法信息/未成年人举报:010-85181169     举报邮箱/未成年人举报:jubao@tomonline-inc.com