联 系 我 们
售前咨询
售后咨询
微信关注:星环科技服务号
更多联系方式 >

行业资讯

首页>行业资讯>什么是 ETL?>

什么是 ETL?

发布时间 2023-10-17

星环大数据开发工具
Transwarp Data Studio ( 简称TDS ) 是星环科技自研的一站式大数据开发工具,提供数据集成、存储、治理、服务和共享等数据处理全生命周期的企业级管理能力,结合星环科技大数据基础平台 Transwarp Data Hub(简称TDH)业界创新的多模态的大数据处理能力,能够提升企业构建数据中台、数据仓库、数据湖等系统的效率,更高效地实现数据资产化和数据业务化。

什么是 ETL?

随着企业的数据量、数据源和数据类型的增加,在分析、数据科学和机器学习计划中利用这些数据以获得业务洞察力的重要性也在增加。优先考虑这些计划的需求给数据工程团队带来了越来越大的压力,因为将原始、杂乱的数据处理成干净、新鲜、可靠的数据是实施这些计划之前的关键步骤。

ETL 是提取、转换和加载的缩写,是数据工程师用来从不同来源提取数据、将数据转换为可用和可信资源,并将数据加载到 终用户可以访问和使用的系统中以解决业务问题的流程。

提取:从目标源中提取数据,目标源通常是异构的,如业务系统、应用程序接口、传感器数据、营销工具和事务数据库等。其中一些数据类型可能是广泛使用的系统的结构化输出,而另一些则是半结构化的 JSON 服务器日志。

转换:将从数据源中提取的原始数据转换为不同应用程序可以使用的格式。在这一阶段,数据将得到清理、映射和转换,通常是按照特定模式进行转换,以满足操作需求。这一过程需要进行几种类型的转换,以确保数据的质量和完整性 数据通常不会直接加载到目标数据源中,而是通常上载到暂存数据库中。这一步骤可确保在出现与计划不符的情况时快速回滚。在此阶段,您可以生成审计报告,以符合法规要求,或诊断和修复任何数据问题。

加载:加载功能是将转换后的数据从暂存区域写入目标数据库的过程,而目标数据库以前可能存在,也可能不存在。根据应用程序的要求,这一过程可能非常简单,也可能非常复杂。每个步骤都可以通过 ETL 工具或自定义代码完成。

 

关键词:
ETL,什么是 ETL

热门产品

  • TDC星环数据云平台(TDC),基于云原生技术融合数据 PaaS、分析PaaS、应用 PaaS,实现数据端到端全生命周期管理。

  • TDS数据开发 | 数据治理 | 共享交换 支撑企业级数据治理和数据资产平台建设

  • SophonSophon-星环智能分析工具,分布式计算、多模态处理、图形化建模、隐私密保护、云边化一体。

  • KunDB星环分布式交易型数据库 SQL兼容、强一致、高性能、高可用

  • ArgoDBTranswarp ArgoDB 是星环科技自主研发的分布式分析型闪存数据库,可以替代Hadoop+MPP混合架构。支持标准SQL语法,提供多模分析、实时数据处理、存算解耦、混合负载、数据联邦、异构服务器混合部署等领先技术能力。