离线数仓和实时数仓

离线数仓

定义与架构

离线数据仓库是一种传统的数据仓库架构，主要用于处理批量数据。它将数据从各个业务系统中定期抽取（例如每天、每周或每月），经过一系列的数据清洗、转换和加载（ETL）过程后，存储到数据仓库中。数据仓库通常采用分层架构，如 ODS（操作数据层）、DW（数据仓库层）和 DM（数据集市层）。

ODS 层存储从业务系统直接抽取过来的原始数据，数据格式基本保持不变，主要用于备份和快速恢复数据。DW 层对 ODS 层的数据进行清洗、转换和汇总，构建面向主题的模型，如销售主题、客户主题等。DM 层则是根据不同部门或业务需求从 DW 层抽取数据，构建更具体的数据集市，为特定的业务分析提供数据支持。

数据处理特点

批量处理：离线数仓的数据处理是基于固定周期的批量操作

数据准确性和完整性优先：由于有足够的时间进行数据处理，离线数仓更注重数据的准确性和完整性。在 ETL 过程中，可以进行复杂的数据清洗和转换操作，如处理数据中的缺失值、异常值，统一数据格式等。

应用场景

报表制作和数据分析：离线数仓是企业制作各种报表的重要基础，如财务报表、销售报表、库存报表等。通过对历史数据的分析，可以发现业务的长期趋势、季节性变化等规律。

数据挖掘和机器学习的训练数据准备：在数据挖掘和机器学习项目中，离线数仓可以提供大规模的、经过整理的训练数据。

实时数仓

定义与架构

实时数据仓库是为了满足对数据时效性要求极高的场景而设计的。它能够实时或近实时地获取业务系统中的数据，并快速进行处理和分析。实时数仓的架构通常包括数据接入层、实时计算层和数据存储层。

数据接入层负责实时采集数据，常见的方式有通过消息队列接收业务系统发送的实时数据，或者使用数据库的 CDC（变更数据捕获）技术获取数据的实时变化。实时计算层使用流计算引擎对实时数据进行处理，如过滤、聚合、关联等操作。数据存储层则将处理后的实时数据存储到合适的存储系统中，如实时数据库或数据仓库的实时分区。

数据处理特点

低延迟处理：实时数仓的核心特点是能够快速处理数据，将数据从产生到可以被分析的延迟控制在秒级甚至毫秒级。

数据持续流动和更新：与离线数仓的批量处理不同，实时数仓中的数据是持续流动的，并且存储的数据需要不断更新。这要求实时数仓的存储系统和计算引擎能够高效地处理这种动态的数据环境。

应用场景

实时监控和预警：在金融、电信、互联网等行业用于实时监控业务指标，如金融市场的交易监控、电信网络的流量监控、互联网应用的用户行为监控等。一旦发现异常情况，能够立即发出预警信号。

实时推荐系统：在电商、内容平台等领域用于构建实时推荐系统。根据用户当前的行为（如浏览商品、阅读文章），实时数仓能够快速提供个性化的推荐内容。