国产化数字底座 湖仓一体

一、湖仓一体技术架构

湖仓一体架构旨在融合数据湖和数据仓库的优势，形成一体化、开放式的数据处理平台。通过将数据湖作为中央存储库，围绕数据湖建立各种提供服务的站点，如数据仓库、机器学习站点、大数据处理站点等，实现数据的无缝调度和管理。湖仓一体的架构由存储层和计算层组成，计算层的数据来源于存储层。

二、湖仓一体的实践路径

湖上建仓

定义：基于云存储或第三方对象存储的云数据湖架构，或以开源Hadoop生态体系为基础，引入数据仓库的数据治理能力，实现数据湖到湖仓一体的进化。

实现方案：通过统一调用接口方式调用计算引擎，实现数据的统一存储和管理。

仓外挂湖

定义：以MPP数据库为基础，使用可插拔架构，通过开放接口对接外部存储实现统一存储。

实现方案：在存储底层共享一份数据，计算、存储完全分离，实现从强管理到兼容开放存储和多引擎的过渡。

三、湖仓一体的基本能力

湖仓数据集成

统一外部数据源管理：支持关系型数据库、NoSQL数据库、分布式文件系统等数据源的管理。

数据转换能力：数仓可对数据湖数据对象进行转换，支持数据和权限管理。

实时与批量数据入湖、入仓：支持实时与批量数据入湖、入仓能力，以及入湖任务配置与管理。

湖仓存储

存算分离：支持数据存储和计算资源独立部署，动态扩缩容存储、计算资源。

存储分级：支持数据的冷、热分级存储。

湖仓计算

统一计算引擎：支持多种计算引擎，实现数据的高效处理。

查询性能优化：通过缓存加速、谓词下推等技术提升查询性能。

湖仓数据治理

统一元数据管理：实现元数据的统一管理，确保数据的一致性和完整性。

事务支持：支持ACID事务，确保数据更新的一致性。