联 系 我 们
售前咨询
售后咨询
微信关注:星环科技服务号
更多联系方式 >

行业资讯

首页>行业资讯>湖仓一体的特点有哪些?>

湖仓一体的特点有哪些?

发布时间 2023-08-03

湖仓一体
星环科技湖仓一体平台依托多模型数据管理平台,打破传统Hadoop+MPP混合架构,提供统一资源管理、统一存储管理、统一计算引擎和统一数据操作四层统一架构,真正实现湖仓技术架构统一。贯穿这四层架构,星环科技湖仓一体平台还提供全生命周期的数据管控能力,可以实现多模态数据以及元数据的统一管控,同时支持统一的多租户管理,可确保在湖仓一体平台上的租户从资源层、数据层、应用层等都能实现完整隔离。

湖仓一体的出现旨在融合数据仓库数据湖的优势,通过在数据湖上构建数据仓库,实现存储成本更低、更具弹性性,并提高数据质量,减少数据冗余。

湖仓一体的特点:

  • 事务支持:Lakehouse可以处理多条不同的数据管道。这意味着它可以在不破坏数据完整性的前提下支持并发的读写事务。
  • Schemas:数仓会在所有存储其上的数据上施加Schema,而数据湖则不会。Lakehouse的架构可以根据应用的需求为绝大多数的数据施加schema,使其标准化。
  • 报表以及分析应用的支持:报表和分析应用都可以使用这一存储架构。Lakehouse里面所保存的数据经过了清理和整合的过程,它可以用来加速分析。同时相比于数仓,它能够保存更多的数据,数据的时效性也会更高,能显著提升报表的质量。
  • 数据类型扩展:数仓仅可以支持结构化数据,而Lakehouse的结构可以支持更多不同类型的数据,包括文件、视频、音频和系统日志。
  • 端到端的流式支持:Lakehouse可以支持流式分析,从而能够满足实时报表的需求,实时报表在现在越来越多的企业中重要性在逐渐提高。
  • 计算存储分离:我们往往使用低成本硬件和集群化架构来实现数据湖,这样的架构提供了非常廉价的分离式存储。Lakehouse是构建在数据湖之上的,因此自然也采用了存算分离的架构,数据存储在一个集群中,而在另一个集群中进行处理。
  • 开放性:Lakehouse在其构建中通常会使Iceberg,Hudi,Delta Lake等构建组件,首先这些组件是开源开放的,其次这些组件采用了Parquet,ORC这样开放兼容的存储格式作为下层的数据存储格式,因此不同的引擎,不同的语言都可以在Lakehouse上进行操作。

 

星环科技湖仓一体解决方案

星环科技湖仓集一体架构,打破数据湖数据仓库数据集市的边界,基于湖仓集一体平台,所有人都可以访问实时的数据、历史的数据、原始的数据、加工过的数据,如业务分析师可以直接访问 原始的数据,数据工程师可以更高效地建模,数据科学家可以横跨不同的数据源进行数据分析和挖掘。通过统一SQL引擎和统一计算引擎,实现湖仓集数据的统一处理、查询、加工,支撑多种应用场景,配合统一的运维、审计、权限、告警等功能实现平台的统一管理,避免重复建设。

相比于开源湖仓,TDH湖仓集一体具有支持四种事务隔离级别,支持小文件灵活自动合并、实时数据快速读写、无需流转,湖仓集一体化存储等优势,帮助用户降低开发运维成本,提高开发分析效率,提升数据处理分析性能。

 

关键词:
湖仓一体的特点,湖仓一体

热门产品

  • TDC星环数据云平台(TDC),基于云原生技术融合数据 PaaS、分析PaaS、应用 PaaS,实现数据端到端全生命周期管理。

  • TDS数据开发 | 数据治理 | 共享交换 支撑企业级数据治理和数据资产平台建设

  • SophonSophon-星环智能分析工具,分布式计算、多模态处理、图形化建模、隐私密保护、云边化一体。

  • KunDB星环分布式交易型数据库 SQL兼容、强一致、高性能、高可用

  • ArgoDBTranswarp ArgoDB 是星环科技自主研发的分布式分析型闪存数据库,可以替代Hadoop+MPP混合架构。支持标准SQL语法,提供多模分析、实时数据处理、存算解耦、混合负载、数据联邦、异构服务器混合部署等领先技术能力。