湖仓一体案例：替代传统数仓，实现湖仓一体

某集团位列中国民营企业500强之林，其多元化的子公司业务遍布各行业领域。为积极推进集团全面数字化转型，构建与集团战略目标相辅相成的前沿数字化发展能力，集团将大数据平台建设项目确立为集团数字化转型的关键战略项目。

项目采用了星环科技大数据基础平台TDH、大数据云平台TDC、大数据开发工具TDS产品，从“采、存、管、用”四个方面构建集团整体的数据架构。

在“采”时提供多种采集方式，支持多种数据类型的采集，包括填报、抽取、实时采集等;

在“存”时按照产业公司划分租户，实现存储隔离、资源隔离、计算隔离，将各产业公司数据放到产业租户内，对数据进行融合处理，并按照分层逻辑划分四层(ods-dwd-dws-ads)，满足我们各个产业公司使用;

在“管”上，基于星环科技数据治理体系理论，使用TDS实现元数据、数据模型、数据标准、数据质量和数据安全等全面管理;

在“用”时，基于已完成标准规划的数据一部分通过报表工具展示给业务分析人员，一部分通过TDS的数据商城和Midgard功能实现产业公司间的数据共享，实现用的价值，同时也支持集团未来的智能分析和数据共享的需求。

替代传统数据仓库，增强业务分析能力，在能源行业中起到示范效应。集团当前使用的传统数仓仅能支持传统的报表分析业务，已不能满足京现在及未来的业务需求。利用为星环科技TDC+TDH+TDS产品替代了传统的数仓，建成“湖仓一体架构”+星环科技产品批流处理能力，不仅能实现传统报表分析，还新增实时流数据处理和非结构化数据分析能力。

基于大数据平台能力，增加大量的应用场景，解决集团的业务痛点，创造经济价值。例如，以前物流车辆装货调度模式为“先到先进”模式，随着集团业务的发展，业务规模越来越大，订单越来越多，导致装货的车辆增加很多。为了保证能更快装到货物，大量货车司机提前来到在路上或停车场排队。受限于装货平台数量有限，停车场不足满足大货车停车需求，预期需求几千万进行扩建。大数据平台上线后，基于平台计算能力和支持场景多样化，开发了“调度系统”，对订单数据进行分钟级排队调度，计算排队货车数量并预估司机能够装货时间，司机只需按照预估时间出发，有效解决了停车场的挤占问题。

数据治理体系搭建，推动产业公司间数据共享。之前平台系统建设首要目标是满足业务使用需求，系统前端功能可用。对元数据和模型管理方面要求略低。导致以后再对系统进行业务分析时缺失元数据信息，花费大量的人力去补充完善。通过集团组织架构调整、多次数据治理培训和规范化操作的培训，使集团和产业公司上下认识到数据治理的重要性，数据治理的理念深入各个系统的建设之中，深入整个集团的数字化建设之中。

集团大数据平台自上线后，一直运行稳定，整体运行效率相比之前旧的数仓平台大幅提升，集团和各产业公司新的IT建设都在按照制定的规范实施，数据的流程、标准、质量和安全有了很大提升，实现了立项的目标。