大数据服务平台是为各类企业和机构提供数据存储、数据处理、数据分析等服务的综合性平台。大数据服务平台是大数据生态系统中的重要组成部分,为企业和机构提供了一个高效、可靠、安全的数据处理环境,帮助其解决数据处理难题,发掘数据价值,提高业务水平。
大数据服务平台的构建需要综合运用各种技术,包括数据采集、数据清洗、数据存储、数据处理、数据分析、数据挖掘等。
星环大数据基础平台-Transwarp Data Hub
星环大数据基础平台TDH 是公司自主研发的一站式大数据基础平台,包括多个大数据存储与分析产品,能够存储 PB 级别的海量数据,可以处理包括关系表、文本、时空地理、图数据、文档、时序、图像等在内的多种数据格式,提供高性能的查询搜索、实时分析、统计分析、预测性分析等数据分析功能。TDH 是通用的高性能大数据平台,提供标准的SQL 开发接口,有着优秀的数据库兼容性,不仅可以帮助各个行业用户开发创新的数字化业务,还可以替代关系型数据库提升当前业务的应用效能。目前 TDH 已经在政府、金融、能源、制造业等十多个行业内落地,支撑如金融风控与营销、智慧制造、城市大脑、智慧交通等多种核心行业应用。
TDH 在 SQL 兼容性、分布式事务、数据处理性能、多模型数据处理、部署与运维等维度上有较强的技术先进性。在 SQL兼容性上,TDH 已经兼容大部分 SQL 99、SQL2003 OLAP 标准;为了实现对国外关系型数据库的进口替代,TDH 也逐步实现了对Oracle、IBM DB2 和 Teradata 等数据库 SQL 方言的支持,以及 Oracle PL/SQL、IBM DB2 SQL PL 等 SQL 扩展,是目前大数据领域对 SQL 标准支持较为完善的产品之一。从 2015 年开始,TDH 就已较早地在大数据行业中支持分布式事务,保证数据的一致性和准确性,并将分布式事务处理能力用于数据仓库等核心数据业务系统中。TDH 采用容器技术来部署、调度和管理,从而可以适配更复杂的异构硬件资源以及降低系统的运维难度,是行业内较早实现基于容器技术管理大数据基础软件的产品。2018 年 3月,TDH 5.1成为全球第一个通过TPC-DS基准测试并经过TPC官方审计的数据平台。从 2020 年开始 TDH 平台支持多模型数据统一分析技术,开发者可以使用 SQL 来统一分析在多个存储引擎里面的数据,打通不同数据库之间的数据孤岛。
TDH 中包含了一系列大数据基础软件子产品以支持多种存储模型,主要包括实时流计算引擎 Slipstream、关系型分析引擎 Inceptor、宽表数据库 Hyperbase、图数据库StellarDB、搜索引擎 Scope、时空数据库 Spacture、时序数据库 TimeLyre、键值数据库KeyByte、事件存储库 Event Store、数据科学平台 Sophon Discover,以及一系列保障平台安全、稳定运行等企业级管理需求的子产品。
TDH 被广泛应用在离线数据批处理、高并发的在线数据服务、数据集市、数据仓库、数据湖、文本搜索、图存储分析、空间数据存储、实时数据处理等各类大数据业务场景,在金融、交通、政府、能源等多个行业积累了大量案例,可以替代 Oracle、IBM DB2、Teradata等传统主流数据库在分析型场景中的应用及替代Elastic Search在分布式搜索场景中的应用。
