产品详情

简介

Transwarp Data Hub (TDH) 企业级一站式大数据综合平台。

2006年Hadoop技术的出现标志着大数据技术时代的开始，经过10多年的蓬勃发展，大数据技术已经真正承托起一大批企业的数据基础架构。Transwarp Data Hub(简称TDH)是星环信息科技(上海)有限公司研发的企业级大数据平台，经过5年的快速演进，不断发展成熟，在邮政、交通、金融等行业获得了大量的部署实施经验，同时向新生的大数据技术领域进行积极的拓展和探索。

TDH主要提供5款核心产品:大数据分析数据库Transwarp Inceptor，实时计算引擎Transwarp Slipstream，Transwarp Discover，NoSQL数据库Transwarp Hyperbase，企业搜索引擎Transwarp Search，通过部署、安装、使用TDH，企业能够更有 效的利用数据构建核心商业系统，加速商业创新。

功能

Transwarp Data Hub由Apache Hadoop、5款核心产品、大数据开发工具集Studio、安全管控平Guardian 和管理服务Manager构成。

Transwarp核心产品名称及其主要特点和使用场景如下：

【Transwarp Inceptor】星环分布式数据库软件

Inceptor是一款用于批量处理及分析的数据库。它支持SQL2003标准、OraclePL/SQL以及DB2SQLPL，对Oracle、DB2以及Teradata都有很好的方言支持，是Hadoop领域对SQL标准支持最完善的产品。Inceptor的另一大优势是对ACID的支持，从而可以满足用户对数据处理中一致性和可靠性保障的需求。此外，Inceptor拥有极为优异的大数据分析性能，比ApacheHadoop处理速度快10倍以上，比MPP处理速度快5倍以上，在TPC-DS和TPC-H基准测试中也胜于其他Hadoop和MPP产品。目前，Inceptor被广泛地应用于数据仓库和数据集市的构建，在中国，已经有超过500家客户在Inceptor上创建了他们自己的商业应用。

【Transwarp Slipstream】星环实时流处理引擎

Slipstream是提供实时计算的产品，被广泛用于交通运输和物联网行业。和其他解决方案相比，Slipstream有几个突出的技术优势:完整的SQL支持使得实时业务开发过程更加简便;基于事件驱动的计算引擎可将延迟时间缩减到5毫秒，是SparkStreaming引擎的延时的1/100;此外Slipstream支持复杂事件处理能力(CEP)，因此用户可以基于Slipstream用SQL语言开发比较复杂的在线流计算业务。Slipstream还提供完善的高可用性(HA)和Exactly-Once语义，而这些都是使实时应用稳定、可靠的保障。另外，Slipstream提供了实时监控平台SlipstreamMonitor用于实时显示并监控任务的各种状态信息和性能指标。

【Transwarp Search】星环分布式搜索引擎

Search用于在企业内部构建大数据搜索引擎。它能够在PB数据量级上实现秒级延迟的搜索功能;在开发接口方面，Search提供了完整的SQL语法支持并提供了搜索语法SQL扩展，通过和Inceptor优化器有效结合，使开发者无需了解底层架构就可以开发出高效的搜索引擎。Search创新的使用了堆外内存管理技术来提高系统的健壮性，避免了GC问题对系统的影响;此外，Search还支持混合存储，通过将热数据存储在SSD上来提升查询速度。Search提供了更高效的数据存储格式，可以有效减少数据膨胀率以及序列化和反序列化的时间开销。

【Transwarp Hyperbase】星环实时数据库软件

Hyperbase是以ApacheHBase为基础，融合多项创新技术的NoSQL数据库:它采用和Inceptor同样的SQL引擎，允许开发者们直接用SQL构建复杂应用;支持全局索引和次级索引，实现高速的非主键查询;提供原生的JSON/BSON格式支持以及对象存储(ObjectStore)技术，极大地简化了非结构化数据处理。

【Transwarp Discover】星环大数据探索软件

Discover是分布式机器学习平台，它包含了丰富的分布式算法库，还内置了多个行业应用模块，例如金融反欺诈、文本挖掘算法库等。Discover提供了R语言、Python和SQL接口，以帮助数据科学家开发自己的数据挖掘算法。通过内置Notebook工具Zeppelin，Discover可以非常灵活的支持数据工程师和科学家之间的团队协作。

优势

极致的性能与可扩展性 TDH的批处理速度是开源Hadoop的10-100倍，是MPP的5-10倍，可以对从GB到PB级的 数据量实现复杂的查询和分析。TDH具有高可扩展性，用户可以通过增加集群节点数量，线性提高系统的处理能 力。

简易的操作和管理 Transwarp Manager是专门用于部署、管理和运维TDH集群的组件。它支持产品一键安装、一 键升级和图形化运维，并提供了预警和健康检测功能，帮助用户简化运维过程。

完整的SQL和ACID支持 Transwarp Inceptor是第一个实现完整SQL支持的Hadoop发行产品。它不仅支持SQL 2003，Oracle PL/SQL以及DB2 SQL PL，还实现了完整的ACID和CRUD功能。TDH提供JDBC和ODBC驱动连接，方 便第三方工具运行于TDH之上。

低延迟的流处理 Transwarp Slipstream是同时支持事件驱动和微批处理的流处理引擎，计算延迟最低可至5ms。 它提供标准的SQL编程接口，还支持高可用性(HA)和Exactly-Once的语义，从而支持7x24小时的生产业务。

大数据上的全文搜索 Transwarp Search支持通过SQL实现大数据上的秒级全文搜索，它利用层次化存储、堆外内 存管理等创新性技术，极大的提高了系统的可用性。此外，Search还可以结合Inceptor提供较强的数据分析能力。

丰富的机器学习功能 Transwarp Discover支持用户通过R语言和Python开发机器学习项目，也可以用图形化的 工具做分析，提供了多种算法和行业模型。

图形化的大数据开发工具套件 Transwarp Studio是TDH中的大数据开发工具集，包括元数据管理Governor、工 作流Workflow、数据整合工具Transporter、Cube设计工具Rubik、报表工具Pilot、日志监控工具Milano以及数据 分析平台Zeppelin。用户可以使用这些图形化工具来提高大数据的开发效率，降低技术门槛。

多样化的数据处理功能 Transwarp Hyperbase用于存储和计算结构化或非结构化数据，包括日志记 录 、JSON/XML文件以及二进制数据(如图像和视频)。Hyperbase底层是KV数据库，因此其非常适合高频次的 数据入库、高并发精确检索等业务。

容器技术与大数据平台 TDH可部署于TOS之上。TOS是为大数据应用量身订做的云操作系统 ，基于Docker 和Kubernetes，支持一键部署TDH、扩容、缩容，同时支持基于优先级的抢占式资源调度和细粒度资源分配。

        统一的安全/多租户管理 Transwarp Guardian是TDH平台中实现安全控制和资源管理的中央服务平台，它支持Kerberos和LDAP认证，可以做细粒度的权限控制，并且提供租户管理功能。