湖仓一体解决方案是一种结合了数据湖和数据仓库优势的新型数据架构,旨在提供一个统一、灵活且高性能的数据存储和处理平台。以下是一些湖仓一体解决方案的关键特点和技术架构:
技术架构
存储与计算分离:湖仓一体架构采取存储计算分离的设计,使得存储和计算可以分别根据业务需求进行独立扩展,有助于节省资源并降低系统总成本。
成本效益:利用低成本的对象存储实现高效益的数据存储,降低存储成本,并避免维护多个数据存储系统的成本。
数据一致性:提供ACID(原子性、一致性、隔离性、持久性)保证,确保数据写入的一致性,这对于需要高并发、高一致性的场景尤为重要。
多种数据源支持:支持多种数据源,包括多个数据湖和多级数据湖的联邦查询能力,能够打破数据孤岛,减少数据搬迁和数据一致性问题。
统一元数据管理:支持异构数据的统一元数据管理,实现端到端的数据链路的自动化元数据采集,支持全链路血缘,一键式分析技术、业务、操作元数据详情。
高可用性:湖仓一体架构使用云对象存储,具有高可用性和高耐用性。
解决方案特点
多模存储:星环科技湖仓一体平台具备多元异构数据统一存储、统一管控能力,支持多种数据模型。
技术创新:打破传统Hadoop+MPP混合架构,真正实现湖仓技术架构统一,提升数据处理效率。
批流协同:支持批流一体,实现跨模态数据融合分析。
统一SQL:跨模态数据融合分析、批流协同开发等均通过统一接口访问,全面支持SQL语法,通用、易用、好用。
弹性伸缩:基于云原生技术架构,支持存算解耦,可以实现资源弹性伸缩,提高资源利用率。
信创自主:信创自主可控,同时与信创上下游生态全面兼容,支持多种操作系统和硬件品牌。
