联 系 我 们
售前咨询
售后咨询
微信关注:星环科技服务号
更多联系方式 >
18.3 数据开发
更新时间:8/26/2022, 5:20:54 AM

一站式大数据开发和治理平台

产品描述

一站式大数据开发和治理平台,支持多人线上协同全流程数据开发,支撑企业级数据治理和数据资产平台建设。

支持版本
  • 2.1.0

产品功能
  • 多人协同开发

    支持多用户协同进行数据开发流程编辑。共享模型以及文件夹,从而让多个团队的多个成员可以共同查看、编辑模型,实现信息数据共享、高度互通,实现更加高效的协同开发。

  • 日均百万级任务调度

    TDS 底层调度服务仅负责定时调度任务,本身不包含执行引擎,不负责数据流转任务的实现,因此是极为轻便的服务,能够支持日均百万级任务的调度量级。

  • 数据开发全流程支持

    支持汇聚不同来源数据批量同步、准实时同步至企业级数仓平台,同时支持多样化数据转换和主题库建模,以及事前事中事后的数据质量管理流程。

  • 全链路安全监控

    对数据抽取、数据转换、数据入库、数据质量检查等一系列数据流转环节进行安全监控,同时对数据资产变动以及数据源管理进行安全管控,用户得以保证全链路数据安全。

  • 跨集群任务发布

    支持将 TDS 平台上存储的数据任务模型发布到不同集群上,实现跨集群的数据共享。

  • 智能化数据探查与 SQL 推荐

    统一的 SQL 开发 IDE,支持 SQL 编辑智能提示、预编译与格式化功能、结果数据展示、可视化数据准备以及 SQL 审核和数据脱敏。

  • 模板化数据质量管理

    基于 SQL 模板的高灵活度数据质量检查系统。内置上百种常见 SQL 模板,用户可以灵活自定义质量检查规则,全程支持可视化流程设计,生成详细质量报告供用户查看。

  • 向导式数据流转设计

    提供数据同步、数据加载的向导式模板,一站式界面操作,能够引导用户迅速创建数据同步、加载任务。TDS 数据流转任务支持批量数据抽取、全量数据同步,灵活映射规则配置以及全过程监控运维。

产品优势
  • 数据联邦与联邦计算

    TDS 与 TDH 深度融合与优化,打造一站式的数据开发治理体验; 基于星环创新的联邦计算技术,能够实现对其他数据库或数据平台的统一管理; 数据开发、数据治理、数据应用全模块统一系统集成,打造完整的企业级数据全生命周期融合与治理平台。

  • 优秀的团队协作能力

    全图形化工具,降低使用门槛; 支持代码与模型的版本管理; 业务层提供包含组织、机构、角色的安全策略; 基于数据血缘可追踪元数据和 SQL 代码的变更。 的云资源。

  • 分布式架构设计,优秀的平台性能

    分布式架构设计,可支持最大PB级别的数据平台建设; 分布式的调度引擎,性能可扩展; 基于大数据平台数据转换计算,避免 ETL 工具本身的计算瓶颈; 高并发的数据API服务能力; 基于图数据库的数据血缘分析。

  • 智能化数据治理能力

    构建智能数据资产模型匹配特定领域和行业数据; 支持智能化数据标准贯标、资产推荐、自动打标; 支持SQL关键词和SQL片段推荐,数据开发知识积累,智能化持续优化开发体验和提高开发效率。

产品架构

一站式大数据开发和治理平台 2.1.0 架构图如下:

One stop bigdata

组件描述

一站式大数据开发和治理平台 2.1.0 包含组件信息如下:

组件名称 描述 版本 备注

FOUNDATION

Studio 基础组件

2.1

KAFKA

消息中间件

6.2

默认三个节点起

TRANSPORTER

大数据整合

2.1

YARN

资源管理框架

6.2

默认三个节点起 默认不开启HA,可以手工配置

WORKFLOW

任务调度

2.1

TXSQL

元数据管理

6.2

ZOOKEEPER

分布式配置服务

6.2

SEARCH

分布式搜索分析引擎

6.2

默认不开启HA,可以手工配置

HDFS

分布式文件系统

6.2

默认三个节点起

CATALOG

大数据资产目录

2.1

HYPERBASE

宽表数据库

6.2

默认三个节点起 默认不开启HA,可以手工配置

产品实例部署和配置管理

产品实例部署和配置管理请参考【TDC 使用手册】中的【部署云产品】和【实例配置与管理】章节。。

数据开发工具集

产品描述

提供多样化数据相关工具,支撑全流程的可视化数据开发、监控、运维与告警。实现数据统一化、资产化,构建企业级数据湖、数据仓库、数据集市。核心功能有数据接入、数据整合、任务流编排、元数据目录。

支持版本
  • 2.2

产品功能
  • 多人协同开发

    支持多用户协同进行数据开发流程编辑。共享模型以及文件夹,从而让多个团队的多个成员可以共同查看、编辑模型,实现信息数据共享、高度互通,实现更加高效的协同开发。

  • 日均百万级任务调度

    TDS底层调度服务仅负责定时调度任务,本身不包含执行引擎,不负责数据流转任务的实现,因此是极为轻便的服务,能够支持日均百万级任务的调度量级。

  • 数据开发全流程支持

    支持汇聚不同来源数据批量同步、准实时同步至企业级数仓平台,同时支持多样化数据转换和主题库建模,以及事前事中事后的数据质量管理流程。

  • 全链路安全监控

    对数据抽取、数据转换、数据入库、数据质量检查等一系列数据流转环节进行安全监控,同时对数据资产变动以及数据源管理进行安全管控,用户得以保证全链路数据安全。

  • 跨集群任务发布

    支持将 TDS 平台上存储的数据任务模型发布到不同集群上,实现跨集群的数据共享。

  • 智能化数据探查与SQL推荐

    统一的 SQL 开发 IDE,支持 SQL 编辑智能提示、预编译与格式化功能、结果数据展示、可视化数据准备以及 SQL 审核和数据脱敏。

  • 模板化数据质量管理

    基于 SQL 模板的高灵活度数据质量检查系统。内置上百种常见 SQL 模板,用户可以灵活自定义质量检查规则,全程支持可视化流程设计,生成详细质量报告供用户查看。

  • 向导式数据流转设计

    提供数据同步、数据加载的向导式模板,一站式界面操作,能够引导用户迅速创建数据同步、加载任务。TDS 数据流转任务支持批量数据抽取、全量数据同步,灵活映射规则配置以及全过程监控运维。

产品优势
  • 数据联邦与联邦计算

    TDS 与 TDH 深度融合与优化,打造一站式的数据开发治理体验; 基于星环创新的联邦计算技术,能够实现对其他数据库或数据平台的统一管理; 数据开发、数据治理、数据应用全模块统一系统集成,打造完整的企业级数据全生命周期融合与治理平台。

  • 优秀的团队协作能力

    全图形化工具,降低使用门槛; 支持代码与模型的版本管理; 业务层提供包含组织、机构、角色的安全策略; 基于数据血缘可追踪元数据和 SQL 代码的变更。

  • 分布式架构设计,优秀的平台性能

    分布式架构设计,可支持最大PB级别的数据平台建设; 分布式的调度引擎,性能可扩展; 基于大数据平台数据转换计算,避免 ETL 工具本身的计算瓶颈; 高并发的数据API服务能力; 基于图数据库的数据血缘分析。

  • 智能化数据治理能力

    构建智能数据资产模型匹配特定领域和行业数据; 支持智能化数据标准贯标、资产推荐、自动打标; 支持 SQL 关键词和 SQL 片段推荐,数据开发知识积累,智能化持续优化开发体验和提高开发效率。

产品架构

数据开发工具集 2.2 架构图如下:

Development toolset

组件描述

数据开发工具集 2.2 包含组件信息如下:

数据开发工具集可依赖TXSQL 6.2或KUNDB 2.1.0,内置的数据开发工具集默认使用TXSQL 6.2。

组件名称 描述 版本

CATALOG

大数据资产目录

2.2

SQLBOOK

数据库在线开发与协调

2.2

TXSQL

元数据管理

6.2

WORKFLOW

任务调度

2.2

TRANSPORTER

大数据整合

2.2

FOUNDATION

Studio 基础组件

2.2

产品实例部署和配置管理

产品实例部署和配置管理请参考【TDC 使用手册】中的【部署云产品】和【实例配置与管理】章节。

数据开发与治理工具集

产品描述

支撑数据治理专题工作,提升数据管理水平。 实现管控、保护、提高数据资产价值。 核心功能有数据标准管理 、数据质量管理 、元数据管理 、 数据血缘、 数据安全与权限管理 、 智能化数据资产管理。

支持版本
  • 2.2

产品功能
  • 多人协同开发

    支持多用户协同进行数据开发流程编辑。共享模型以及文件夹,从而让多个团队的多个成员可以共同查看、编辑模型,实现信息数据共享、高度互通,实现更加高效的协同开发。

  • 日均百万级任务调度

    TDS底层调度服务仅负责定时调度任务,本身不包含执行引擎,不负责数据流转任务的实现,因此是极为轻便的服务,能够支持日均百万级任务的调度量级。

  • 数据开发全流程支持

    支持汇聚不同来源数据批量同步、准实时同步至企业级数仓平台,同时支持多样化数据转换和主题库建模,以及事前事中事后的数据质量管理流程。

  • 全链路安全监控

    对数据抽取、数据转换、数据入库、数据质量检查等一系列数据流转环节进行安全监控,同时对数据资产变动以及数据源管理进行安全管控,用户得以保证全链路数据安全。

  • 跨集群任务发布

    支持将 TDS 平台上存储的数据任务模型发布到不同集群上,实现跨集群的数据共享。

  • 智能化数据探查与SQL推荐

    统一的 SQL 开发 IDE,支持 SQL 编辑智能提示、预编译与格式化功能、结果数据展示、可视化数据准备以及 SQL 审核和数据脱敏。

  • 模板化数据质量管理

    基于 SQL 模板的高灵活度数据质量检查系统。内置上百种常见 SQL 模板,用户可以灵活自定义质量检查规则,全程支持可视化流程设计,生成详细质量报告供用户查看。

  • 向导式数据流转设计

    提供数据同步、数据加载的向导式模板,一站式界面操作,能够引导用户迅速创建数据同步、加载任务。TDS 数据流转任务支持批量数据抽取、全量数据同步,灵活映射规则配置以及全过程监控运维。

产品优势
  • 数据联邦与联邦计算

    TDS 与 TDH 深度融合与优化,打造一站式的数据开发治理体验; 基于星环创新的联邦计算技术,能够实现对其他数据库或数据平台的统一管理; 数据开发、数据治理、数据应用全模块统一系统集成,打造完整的企业级数据全生命周期融合与治理平台。

  • 优秀的团队协作能力

    全图形化工具,降低使用门槛; 支持代码与模型的版本管理; 业务层提供包含组织、机构、角色的安全策略; 基于数据血缘可追踪元数据和 SQL 代码的变更。

  • 分布式架构设计,优秀的平台性能

    分布式架构设计,可支持最大PB级别的数据平台建设; 分布式的调度引擎,性能可扩展; 基于大数据平台数据转换计算,避免 ETL 工具本身的计算瓶颈; 高并发的数据API服务能力; 基于图数据库的数据血缘分析。

  • 智能化数据治理能力

    构建智能数据资产模型匹配特定领域和行业数据; 支持智能化数据标准贯标、资产推荐、自动打标; 支持 SQL 关键词和 SQL 片段推荐,数据开发知识积累,智能化持续优化开发体验和提高开发效率。

产品架构

数据开发与治理工具集 2.2 架构图如下:

Governance toolset

组件描述

数据开发与治理工具集 2.2 包含组件信息如下:

数据开发工具集可依赖TXSQL 6.2或KUNDB 2.1.0,内置的数据开发工具集默认使用TXSQL 6.2。

组件名称 描述 版本

FOUNDATION

Studio基础组件

2.2

GOVERNOR

大数据治理

2.2

CATALOG

大数据资产目录

2.2

TXSQL

元数据管理

6.2

WORKFLOW

任务调度

2.2

TRANSPORTER

大数据整合

2.2

SQLBOOK

数据库在线开发与协调

2.2

产品实例部署和配置管理

产品实例部署和配置管理请参考【TDC 使用手册】中的【部署云产品】和【实例配置与管理】章节。

数据中台工具集

产品描述

支持多人线上协同全流程数据开发,支撑企业级数据治理和数据资产平台建设。提升企业构建数据中台、数据仓库、数据湖等系统的效率, 更高效的实现数据的资产化和数据业务化。支持数据开发、数据治理、数据共享交换场景。

支持版本
  • 2.2

产品功能
  • 数据联邦与联邦计算

    TDS 与 TDH 深度融合与优化,打造一站式的数据开发治理体验; 基于星环创新的联邦计算技术,能够实现对其他数据库或数据平台的统一管理; 数据开发、数据治理、数据应用全模块统一系统集成,打造完整的企业级数据全生命周期融合与治理平台。

  • 优秀的团队协作能力

    全图形化工具,降低使用门槛; 支持代码与模型的版本管理; 业务层提供包含组织、机构、角色的安全策略; 基于数据血缘可追踪元数据和 SQL 代码的变更。

  • 分布式架构设计,优秀的平台性能

    分布式架构设计,可支持最大PB级别的数据平台建设; 分布式的调度引擎,性能可扩展; 基于大数据平台数据转换计算,避免 ETL 工具本身的计算瓶颈; 高并发的数据API服务能力; 基于图数据库的数据血缘分析。

  • 智能化数据治理能力

    构建智能数据资产模型匹配特定领域和行业数据; 支持智能化数据标准贯标、资产推荐、自动打标; 支持 SQL 关键词和 SQL 片段推荐,数据开发知识积累,智能化持续优化开发体验和提高开发效率。

产品优势
  • 数据联邦与联邦计算

    TDS 与 TDH 深度融合与优化,打造一站式的数据开发治理体验; 基于星环创新的联邦计算技术,能够实现对其他数据库或数据平台的统一管理; 数据开发、数据治理、数据应用全模块统一系统集成,打造完整的企业级数据全生命周期融合与治理平台。

  • 优秀的团队协作能力

    全图形化工具,降低使用门槛; 支持代码与模型的版本管理; 业务层提供包含组织、机构、角色的安全策略; 基于数据血缘可追踪元数据和 SQL 代码的变更。

  • 分布式架构设计,优秀的平台性能

    分布式架构设计,可支持最大PB级别的数据平台建设; 分布式的调度引擎,性能可扩展; 基于大数据平台数据转换计算,避免 ETL 工具本身的计算瓶颈; 高并发的数据API服务能力; 基于图数据库的数据血缘分析。

  • 智能化数据治理能力

    构建智能数据资产模型匹配特定领域和行业数据; 支持智能化数据标准贯标、资产推荐、自动打标; 支持 SQL 关键词和 SQL 片段推荐,数据开发知识积累,智能化持续优化开发体验和提高开发效率。

产品架构

数据开发工具集 2.2 架构图如下:

Medium toolset

组件描述

数据中台工具集 2.2 包含组件信息如下:

数据开发工具集可依赖TXSQL 6.2或KUNDB 2.1.0,内置的数据开发工具集默认使用TXSQL 6.2。

组件名称 描述 版本

WORKFLOW

任务调度

2.2

FORESIGHT

数据商城管理

2.2

TRANSPORTER

大数据整合

2.2

CATALOG

元数据管理

2.2

TXSQL

任务调度

6.2

FOUNDATION

Studio基础组件

2.2

SQLBOOK

数据库在线开发与协调

2.2

GOVERNOR

大数据治理

2.2

DEFENSOR

安全与隐私保护工具

2.2

产品实例部署和配置管理

产品实例部署和配置管理请参考【TDC 使用手册】中的【部署云产品】和【实例配置与管理】章节。

企业数据报表

产品描述

企业数据报表是一款专业的 BI 前端展现工具,具有仪表盘(管理驾驶舱)、灵活查询、电子表格、OLAP 多维分析、移动BI应用、Office分析报告插件、自助分析、数据采集等功能模块。

支持版本
  • 8.5

产品功能
  • 支持跨库查询,无需落地。

  • 完善的报表功能

    结合 Excel/WPS 的报表工具,整合了传统的使用习惯和创新的中国式报表功能。

  • 高性能

    高速缓存机制结合星环分布式引擎,带来极速分析体验。

  • 多维数据

    Pilot 的多维数据引擎以Pilot的多维数据库为核心,囊括ETL功能,旨在对原始数据进行抽取,转换和加载,支撑 Pilot 在线分析。支持丰富的自定义展现方式,关键指标更直观。

  • 移动端方便性

    移动分享,数据随行。支持 ios,安卓移动端查看报表和分析数据,功能和 PC 上的 Web 端完全一致,包括更改数据过滤条件、自由切换维度和指标、钻取联动等。

  • 提供丰富的图形和可定制开发的大屏展示方案。

产品架构

企业数据报表 8.5 架构图如下::

enterprise data

组件描述

企业数据报表 8.5 包含组件信息如下:

组件名称 描述 版本 备注

PILOTENTERPRISE

数据分析展现工具

8.5

默认不开启HA,可以手工配置

产品实例部署和配置管理

产品实例部署和配置管理请参考【TDC 使用手册】中的【部署云产品】和【实例配置与管理】章节。