Loading… 星环科技多模型数据数据处理平台Transwarp Data Hub 7.0正式发布_TOM新闻
正文
Qzone
微博
微信

星环科技多模型数据数据处理平台Transwarp Data Hub 7.0正式发布

2020-05-15 18:18 TOM   

星环科技一站式大数据平台Transwarp Data Hub(TDH)每年都会有大版本更新迭代,5月15日在星环科技2020春季新品发布会上推出的7.0版本,主打一站式多模异构数据处理,打破了行业内普遍存在的不同数据库产品切换的不便利,通过一个平台处理多种数据模型,用户无需维护多种数据库即将成为现实。

数年来,星环科技一直坚持自主研发,逐年推动技术进步,2013年星环科技创立时就从大数据的四个角度来定义产品,来解决大数据的4个V的需求,数据量大、数据的种类多、数据的实时性要求高、要从数据中发掘价值。TDH是可以用于解决大数据四个V的一站式平台解决方案,①大量化(volume),采用分布式计算和分布式存储框架,充分利用计算机集群的整体计算和存储能力,解决了数据大量化问题。② 速度化(velocity):采用实时流处理引擎,解决了用户对数据处理时效性的需求 ③ 多样化(variety):处理的数据类型不再局限于结构化数据,能同时处理文本数据、图数据等非结构化数据。 ④价值提升(value):充分利用数据,用于多种数据模型的分析,提升数据价值。

满足客户需求应运而生的TDH7.0

经过七年的不懈努力,产生了发布会上看到的Transwarp Data Hub 7.0的整体构思。TDH从最初的一个多工具组合平台,逐步经演变成为一个多模型数据处理平台。目前,各种大数据技术应用越来越广泛。对于一些单一的典型场景,业界有了知名的解决方案,例如:结构化数据使用Hive;动态列模型使用Bigtable、Hbase;文档处理使用MogoDB;图数据使用Neo4j;搜索引擎ElasticSearch,等等。但在实际应用中,用户的使用场景日趋复杂,处理多模型的需求日趋广泛。在处理多模型的需求时,用户不得不采用多工具组合的混合方法,但这种混合方法的运维过于复杂,必须要维护多种数据库来满足不同模型的需求。因此,用户迫切需要一个统一的平台解决日益多样灵活的各类需求。

TDH7.0作为一个多模型的数据处理平台可以提供统一的数据操作/查询语言 SQL、统一的数据计算引擎、统一的分布式存储管理系统、统一的资源管理框架,满足利用一个多模异构平台,处理多种数据的需求。产品从上而下划分为五个层次:①SQL层:开发了统一的SQL引擎,兼容各种不同的SQL方言;②计算层:开发了统一的计算引擎,进行统一的计算任务优化和分发;③存储模型层,TDH一个平台支持七种不同的存储模型,适用于不同的应用场景,包括:图存储 Graph Storage、文档存储 Document Storage、全文检索 Full-text Search、键值存储 Key-Value Storage、行列混合存储 Row-Columnar Storage 、时空地理存储 Sequential Geospatial Storage、非结构化对象存储 Unstructured Object Storage。④存储管理层:开发了统一的存储管理引擎,提供数据块分布管理、数据多副本一致性管理、文件服务管理等功能;⑤资源调度层,开发了统一的资源调度框架,通过容器化编排,统一调度计算、存储、网络资源。

TDH7.0多模型数据处理平台三大核心优势

优势一:极大提升了各个产品的效率。如果同一份数据需要进行多种不同模型分析:分析查询、模糊匹配查询、关系推理查询。TDH可以针对不同需求采用多种最优存储模型:分析查询采用行列混合存储;模糊匹配查询采用全文检索;关系推理查询采用图数据存储。多种模式的存储,可以使各场景下的查询分析性能都得到极大优化。

优势二:便捷的应用开发。在传统混合模型中,不同模型数据间做关联分析,需要进行跨数据库的数据导入导出,十分复杂。而我们的产品采用了统一的数据管理,一个简单的SQL语句就可以直接进行关联查询,如同操作同一个数据库一般,使应用开发变得十分便捷。

优势三:降低运维成本。在传统混合模型中,不同模型需要运维不同数据库。特别当同一份数据存储于多数据库时,数据一致性成为极大挑战。此外,数据总体情况的运维,需要各个运维子系统汇总并二次开发,运维成本巨大。而我们的产品采用了统一的数据管理,在产品底层服务中直接保障数据一致性,同时对多模型的数据进行整体运维,是天然的一体化系统。

星环科技新一代搜索产品Transwarp New Search重磅推出

随着新一代信息技术的发展,围绕着数据的采集、传输、存储、管理、分析、应用各环节的大数据技术异常活跃。同时,数据库的技术也日新月异。除了传统的关系型数据库,也诞生了许多非关系数据库相关的新兴技术。说到分析型非关系数据库,就不得不提到一类典型的业务:全文搜索。

作为广泛应用于TDH7.0中的全文检索产品,星环科技经过几年的自主研发,在这次发布会上推出了新一代搜索产品Transwarp New Search。相比常见的开源产品,Transwarp New Search在性能方面有更加亮眼的优势,在数据服务上限、数据安全性、数据恢复速度、数据读写速度、SQL计算性能,扩展功能等方面都有大幅的迭代和提升。

将数据服务上限提升10倍:星环科技对内存使用进行了优化,采用了独创的堆外技术(Off-Heap)、冷却技术(Cooling)和自适应段合并算法(Self-Adaption Segment Merge),节省了内存使用。因此,单节点单实例的数据量上限提升至50TB左右,是开源ES方案的五倍,大大提升了磁盘的利用率,降低了用户的硬件成本。此外,星环科技抛弃了开源产品P2P架构,采用分布式一致性协议(raft)来管理集群,将集群规模上限从100节点左右提升到200节点以上。

数据安全性显著提高:星环科技抛弃了主从最终一致性模型,采用了分布式一致性协议(raft)来保证数据的强一致性。即使极端的断电场景,也能保证数据一致性,数据安全大大提升。此外,还提供了回收站功能。用户误删除数据后,可以便捷的恢复数据。产品使用更安全、更放心。

数据恢复速度快10倍:星环科技对写入数据做了细粒度的标记控制,单点故障数据恢复时,采用增量数据拷贝方式,启动时间加快,数分钟内完成。而开源产品集群规模上百节点时,单点故障恢复时间超过一小时。

数据读写速度更快:星环科技产品对读写线程资源的管理更严格、更精细,既保证集群稳定性,又尽力充分使用资源,使读写性能更优,并提供了Bulkload功能,批量写入速度和稳定性大幅提高。与开源产品相比,节省存储资源20%,提升查询速率2倍。

良好的SQL计算性能:星环科技引入了自主研发的分布式计算引擎,兼容开源ES的接口,同时很好的对接了SQL的生态。除了单点查询之外,大幅提升了复杂聚合分析性能。语法上,星环科技的产品支持标准SQL,也支持SQL扩展搜索语义,以及Oracle、DB2等SQL方言,对数据库用户更友好,学习、迁移成本更低。

扩展功能:支持pdf/word/excel等常用格式文档的存储和搜索;提供中、维、藏、英、法、日、韩、德、西、葡等语言分词器,方便用户处理不同语言的文本;支持文章相似度匹配、关键字提取、摘要提取等自然语言处理功能;支持时空地理数据的存储和分析;可配套使用星环科技安全软件(Transwarp Guardian),获取优质的安全服务,包括:用户认证、用户授权、安全审计、数据传输存储加密等诸多功能;可配套使用星环科技管理软件(Transwarp Manager),获取集群安装、运维、监控、管理方面的优质服务。

 

责任编辑: WY-BD

责任编辑: WY-BD
广告