一站式大数据开发和治理平台
产品描述
一站式大数据开发和治理平台,支持多人线上协同全流程数据开发,支撑企业级数据治理和数据资产平台建设。
支持版本
-
2.1.0
产品功能
-
多人协同开发
支持多用户协同进行数据开发流程编辑。共享模型以及文件夹,从而让多个团队的多个成员可以共同查看、编辑模型,实现信息数据共享、高度互通,实现更加高效的协同开发。
-
日均百万级任务调度
TDS 底层调度服务仅负责定时调度任务,本身不包含执行引擎,不负责数据流转任务的实现,因此是极为轻便的服务,能够支持日均百万级任务的调度量级。
-
数据开发全流程支持
支持汇聚不同来源数据批量同步、准实时同步至企业级数仓平台,同时支持多样化数据转换和主题库建模,以及事前事中事后的数据质量管理流程。
-
全链路安全监控
对数据抽取、数据转换、数据入库、数据质量检查等一系列数据流转环节进行安全监控,同时对数据资产变动以及数据源管理进行安全管控,用户得以保证全链路数据安全。
-
跨集群任务发布
支持将 TDS 平台上存储的数据任务模型发布到不同集群上,实现跨集群的数据共享。
-
智能化数据探查与 SQL 推荐
统一的 SQL 开发 IDE,支持 SQL 编辑智能提示、预编译与格式化功能、结果数据展示、可视化数据准备以及 SQL 审核和数据脱敏。
-
模板化数据质量管理
基于 SQL 模板的高灵活度数据质量检查系统。内置上百种常见 SQL 模板,用户可以灵活自定义质量检查规则,全程支持可视化流程设计,生成详细质量报告供用户查看。
-
向导式数据流转设计
提供数据同步、数据加载的向导式模板,一站式界面操作,能够引导用户迅速创建数据同步、加载任务。TDS 数据流转任务支持批量数据抽取、全量数据同步,灵活映射规则配置以及全过程监控运维。
产品优势
-
数据联邦与联邦计算
TDS 与 TDH 深度融合与优化,打造一站式的数据开发治理体验; 基于星环创新的联邦计算技术,能够实现对其他数据库或数据平台的统一管理; 数据开发、数据治理、数据应用全模块统一系统集成,打造完整的企业级数据全生命周期融合与治理平台。
-
优秀的团队协作能力
全图形化工具,降低使用门槛; 支持代码与模型的版本管理; 业务层提供包含组织、机构、角色的安全策略; 基于数据血缘可追踪元数据和 SQL 代码的变更。 的云资源。
-
分布式架构设计,优秀的平台性能
分布式架构设计,可支持最大PB级别的数据平台建设; 分布式的调度引擎,性能可扩展; 基于大数据平台数据转换计算,避免 ETL 工具本身的计算瓶颈; 高并发的数据API服务能力; 基于图数据库的数据血缘分析。
-
智能化数据治理能力
构建智能数据资产模型匹配特定领域和行业数据; 支持智能化数据标准贯标、资产推荐、自动打标; 支持SQL关键词和SQL片段推荐,数据开发知识积累,智能化持续优化开发体验和提高开发效率。
产品架构
一站式大数据开发和治理平台 2.1.0 架构图如下:
组件描述
一站式大数据开发和治理平台 2.1.0 包含组件信息如下:
组件名称 | 描述 | 版本 | 备注 |
---|---|---|---|
FOUNDATION |
Studio 基础组件 |
2.1 |
|
KAFKA |
消息中间件 |
6.2 |
默认三个节点起 |
TRANSPORTER |
大数据整合 |
2.1 |
|
YARN |
资源管理框架 |
6.2 |
默认三个节点起 默认不开启HA,可以手工配置 |
WORKFLOW |
任务调度 |
2.1 |
|
TXSQL |
元数据管理 |
6.2 |
|
ZOOKEEPER |
分布式配置服务 |
6.2 |
|
SEARCH |
分布式搜索分析引擎 |
6.2 |
默认不开启HA,可以手工配置 |
HDFS |
分布式文件系统 |
6.2 |
默认三个节点起 |
CATALOG |
大数据资产目录 |
2.1 |
|
HYPERBASE |
宽表数据库 |
6.2 |
默认三个节点起 默认不开启HA,可以手工配置 |
产品实例部署和配置管理
产品实例部署和配置管理请参考【TDC 使用手册】中的【部署云产品】和【实例配置与管理】章节。。
数据开发工具集
产品描述
提供多样化数据相关工具,支撑全流程的可视化数据开发、监控、运维与告警。实现数据统一化、资产化,构建企业级数据湖、数据仓库、数据集市。核心功能有数据接入、数据整合、任务流编排、元数据目录。
支持版本
-
2.2
产品功能
-
多人协同开发
支持多用户协同进行数据开发流程编辑。共享模型以及文件夹,从而让多个团队的多个成员可以共同查看、编辑模型,实现信息数据共享、高度互通,实现更加高效的协同开发。
-
日均百万级任务调度
TDS底层调度服务仅负责定时调度任务,本身不包含执行引擎,不负责数据流转任务的实现,因此是极为轻便的服务,能够支持日均百万级任务的调度量级。
-
数据开发全流程支持
支持汇聚不同来源数据批量同步、准实时同步至企业级数仓平台,同时支持多样化数据转换和主题库建模,以及事前事中事后的数据质量管理流程。
-
全链路安全监控
对数据抽取、数据转换、数据入库、数据质量检查等一系列数据流转环节进行安全监控,同时对数据资产变动以及数据源管理进行安全管控,用户得以保证全链路数据安全。
-
跨集群任务发布
支持将 TDS 平台上存储的数据任务模型发布到不同集群上,实现跨集群的数据共享。
-
智能化数据探查与SQL推荐
统一的 SQL 开发 IDE,支持 SQL 编辑智能提示、预编译与格式化功能、结果数据展示、可视化数据准备以及 SQL 审核和数据脱敏。
-
模板化数据质量管理
基于 SQL 模板的高灵活度数据质量检查系统。内置上百种常见 SQL 模板,用户可以灵活自定义质量检查规则,全程支持可视化流程设计,生成详细质量报告供用户查看。
-
向导式数据流转设计
提供数据同步、数据加载的向导式模板,一站式界面操作,能够引导用户迅速创建数据同步、加载任务。TDS 数据流转任务支持批量数据抽取、全量数据同步,灵活映射规则配置以及全过程监控运维。
产品优势
-
数据联邦与联邦计算
TDS 与 TDH 深度融合与优化,打造一站式的数据开发治理体验; 基于星环创新的联邦计算技术,能够实现对其他数据库或数据平台的统一管理; 数据开发、数据治理、数据应用全模块统一系统集成,打造完整的企业级数据全生命周期融合与治理平台。
-
优秀的团队协作能力
全图形化工具,降低使用门槛; 支持代码与模型的版本管理; 业务层提供包含组织、机构、角色的安全策略; 基于数据血缘可追踪元数据和 SQL 代码的变更。
-
分布式架构设计,优秀的平台性能
分布式架构设计,可支持最大PB级别的数据平台建设; 分布式的调度引擎,性能可扩展; 基于大数据平台数据转换计算,避免 ETL 工具本身的计算瓶颈; 高并发的数据API服务能力; 基于图数据库的数据血缘分析。
-
智能化数据治理能力
构建智能数据资产模型匹配特定领域和行业数据; 支持智能化数据标准贯标、资产推荐、自动打标; 支持 SQL 关键词和 SQL 片段推荐,数据开发知识积累,智能化持续优化开发体验和提高开发效率。
产品架构
数据开发工具集 2.2 架构图如下:
组件描述
数据开发工具集 2.2 包含组件信息如下:
数据开发工具集可依赖TXSQL 6.2或KUNDB 2.1.0,内置的数据开发工具集默认使用TXSQL 6.2。 |
组件名称 | 描述 | 版本 |
---|---|---|
CATALOG |
大数据资产目录 |
2.2 |
SQLBOOK |
数据库在线开发与协调 |
2.2 |
TXSQL |
元数据管理 |
6.2 |
WORKFLOW |
任务调度 |
2.2 |
TRANSPORTER |
大数据整合 |
2.2 |
FOUNDATION |
Studio 基础组件 |
2.2 |
产品实例部署和配置管理
产品实例部署和配置管理请参考【TDC 使用手册】中的【部署云产品】和【实例配置与管理】章节。
数据开发与治理工具集
产品描述
支撑数据治理专题工作,提升数据管理水平。 实现管控、保护、提高数据资产价值。 核心功能有数据标准管理 、数据质量管理 、元数据管理 、 数据血缘、 数据安全与权限管理 、 智能化数据资产管理。
支持版本
-
2.2
产品功能
-
多人协同开发
支持多用户协同进行数据开发流程编辑。共享模型以及文件夹,从而让多个团队的多个成员可以共同查看、编辑模型,实现信息数据共享、高度互通,实现更加高效的协同开发。
-
日均百万级任务调度
TDS底层调度服务仅负责定时调度任务,本身不包含执行引擎,不负责数据流转任务的实现,因此是极为轻便的服务,能够支持日均百万级任务的调度量级。
-
数据开发全流程支持
支持汇聚不同来源数据批量同步、准实时同步至企业级数仓平台,同时支持多样化数据转换和主题库建模,以及事前事中事后的数据质量管理流程。
-
全链路安全监控
对数据抽取、数据转换、数据入库、数据质量检查等一系列数据流转环节进行安全监控,同时对数据资产变动以及数据源管理进行安全管控,用户得以保证全链路数据安全。
-
跨集群任务发布
支持将 TDS 平台上存储的数据任务模型发布到不同集群上,实现跨集群的数据共享。
-
智能化数据探查与SQL推荐
统一的 SQL 开发 IDE,支持 SQL 编辑智能提示、预编译与格式化功能、结果数据展示、可视化数据准备以及 SQL 审核和数据脱敏。
-
模板化数据质量管理
基于 SQL 模板的高灵活度数据质量检查系统。内置上百种常见 SQL 模板,用户可以灵活自定义质量检查规则,全程支持可视化流程设计,生成详细质量报告供用户查看。
-
向导式数据流转设计
提供数据同步、数据加载的向导式模板,一站式界面操作,能够引导用户迅速创建数据同步、加载任务。TDS 数据流转任务支持批量数据抽取、全量数据同步,灵活映射规则配置以及全过程监控运维。
产品优势
-
数据联邦与联邦计算
TDS 与 TDH 深度融合与优化,打造一站式的数据开发治理体验; 基于星环创新的联邦计算技术,能够实现对其他数据库或数据平台的统一管理; 数据开发、数据治理、数据应用全模块统一系统集成,打造完整的企业级数据全生命周期融合与治理平台。
-
优秀的团队协作能力
全图形化工具,降低使用门槛; 支持代码与模型的版本管理; 业务层提供包含组织、机构、角色的安全策略; 基于数据血缘可追踪元数据和 SQL 代码的变更。
-
分布式架构设计,优秀的平台性能
分布式架构设计,可支持最大PB级别的数据平台建设; 分布式的调度引擎,性能可扩展; 基于大数据平台数据转换计算,避免 ETL 工具本身的计算瓶颈; 高并发的数据API服务能力; 基于图数据库的数据血缘分析。
-
智能化数据治理能力
构建智能数据资产模型匹配特定领域和行业数据; 支持智能化数据标准贯标、资产推荐、自动打标; 支持 SQL 关键词和 SQL 片段推荐,数据开发知识积累,智能化持续优化开发体验和提高开发效率。
产品架构
数据开发与治理工具集 2.2 架构图如下:
组件描述
数据开发与治理工具集 2.2 包含组件信息如下:
数据开发工具集可依赖TXSQL 6.2或KUNDB 2.1.0,内置的数据开发工具集默认使用TXSQL 6.2。 |
组件名称 | 描述 | 版本 |
---|---|---|
FOUNDATION |
Studio基础组件 |
2.2 |
GOVERNOR |
大数据治理 |
2.2 |
CATALOG |
大数据资产目录 |
2.2 |
TXSQL |
元数据管理 |
6.2 |
WORKFLOW |
任务调度 |
2.2 |
TRANSPORTER |
大数据整合 |
2.2 |
SQLBOOK |
数据库在线开发与协调 |
2.2 |
产品实例部署和配置管理
产品实例部署和配置管理请参考【TDC 使用手册】中的【部署云产品】和【实例配置与管理】章节。
数据中台工具集
产品描述
支持多人线上协同全流程数据开发,支撑企业级数据治理和数据资产平台建设。提升企业构建数据中台、数据仓库、数据湖等系统的效率, 更高效的实现数据的资产化和数据业务化。支持数据开发、数据治理、数据共享交换场景。
支持版本
-
2.2
产品功能
-
数据联邦与联邦计算
TDS 与 TDH 深度融合与优化,打造一站式的数据开发治理体验; 基于星环创新的联邦计算技术,能够实现对其他数据库或数据平台的统一管理; 数据开发、数据治理、数据应用全模块统一系统集成,打造完整的企业级数据全生命周期融合与治理平台。
-
优秀的团队协作能力
全图形化工具,降低使用门槛; 支持代码与模型的版本管理; 业务层提供包含组织、机构、角色的安全策略; 基于数据血缘可追踪元数据和 SQL 代码的变更。
-
分布式架构设计,优秀的平台性能
分布式架构设计,可支持最大PB级别的数据平台建设; 分布式的调度引擎,性能可扩展; 基于大数据平台数据转换计算,避免 ETL 工具本身的计算瓶颈; 高并发的数据API服务能力; 基于图数据库的数据血缘分析。
-
智能化数据治理能力
构建智能数据资产模型匹配特定领域和行业数据; 支持智能化数据标准贯标、资产推荐、自动打标; 支持 SQL 关键词和 SQL 片段推荐,数据开发知识积累,智能化持续优化开发体验和提高开发效率。
产品优势
-
数据联邦与联邦计算
TDS 与 TDH 深度融合与优化,打造一站式的数据开发治理体验; 基于星环创新的联邦计算技术,能够实现对其他数据库或数据平台的统一管理; 数据开发、数据治理、数据应用全模块统一系统集成,打造完整的企业级数据全生命周期融合与治理平台。
-
优秀的团队协作能力
全图形化工具,降低使用门槛; 支持代码与模型的版本管理; 业务层提供包含组织、机构、角色的安全策略; 基于数据血缘可追踪元数据和 SQL 代码的变更。
-
分布式架构设计,优秀的平台性能
分布式架构设计,可支持最大PB级别的数据平台建设; 分布式的调度引擎,性能可扩展; 基于大数据平台数据转换计算,避免 ETL 工具本身的计算瓶颈; 高并发的数据API服务能力; 基于图数据库的数据血缘分析。
-
智能化数据治理能力
构建智能数据资产模型匹配特定领域和行业数据; 支持智能化数据标准贯标、资产推荐、自动打标; 支持 SQL 关键词和 SQL 片段推荐,数据开发知识积累,智能化持续优化开发体验和提高开发效率。
产品架构
数据开发工具集 2.2 架构图如下:
组件描述
数据中台工具集 2.2 包含组件信息如下:
数据开发工具集可依赖TXSQL 6.2或KUNDB 2.1.0,内置的数据开发工具集默认使用TXSQL 6.2。 |
组件名称 | 描述 | 版本 |
---|---|---|
WORKFLOW |
任务调度 |
2.2 |
FORESIGHT |
数据商城管理 |
2.2 |
TRANSPORTER |
大数据整合 |
2.2 |
CATALOG |
元数据管理 |
2.2 |
TXSQL |
任务调度 |
6.2 |
FOUNDATION |
Studio基础组件 |
2.2 |
SQLBOOK |
数据库在线开发与协调 |
2.2 |
GOVERNOR |
大数据治理 |
2.2 |
DEFENSOR |
安全与隐私保护工具 |
2.2 |
产品实例部署和配置管理
产品实例部署和配置管理请参考【TDC 使用手册】中的【部署云产品】和【实例配置与管理】章节。
企业数据报表
产品描述
企业数据报表是一款专业的 BI 前端展现工具,具有仪表盘(管理驾驶舱)、灵活查询、电子表格、OLAP 多维分析、移动BI应用、Office分析报告插件、自助分析、数据采集等功能模块。
支持版本
-
8.5
产品功能
-
支持跨库查询,无需落地。
-
完善的报表功能
结合 Excel/WPS 的报表工具,整合了传统的使用习惯和创新的中国式报表功能。
-
高性能
高速缓存机制结合星环分布式引擎,带来极速分析体验。
-
多维数据
Pilot 的多维数据引擎以Pilot的多维数据库为核心,囊括ETL功能,旨在对原始数据进行抽取,转换和加载,支撑 Pilot 在线分析。支持丰富的自定义展现方式,关键指标更直观。
-
移动端方便性
移动分享,数据随行。支持 ios,安卓移动端查看报表和分析数据,功能和 PC 上的 Web 端完全一致,包括更改数据过滤条件、自由切换维度和指标、钻取联动等。
-
提供丰富的图形和可定制开发的大屏展示方案。
产品架构
企业数据报表 8.5 架构图如下::
组件描述
企业数据报表 8.5 包含组件信息如下:
组件名称 | 描述 | 版本 | 备注 |
---|---|---|---|
PILOTENTERPRISE |
数据分析展现工具 |
8.5 |
默认不开启HA,可以手工配置 |
产品实例部署和配置管理
产品实例部署和配置管理请参考【TDC 使用手册】中的【部署云产品】和【实例配置与管理】章节。