数据湖是⼀个以原始格式(通常是对象块或⽂件)存储数据的系统或存储库。数据湖通常是所有企业数据的单⼀存储。⽤于报告、可视化、⾼级分析和机器学习等任务。数据湖可以包括来⾃关系数据库的结构化数据(⾏和列)、半结构化数据(CSV、⽇志、XML、JSON)、⾮结构化数据(电⼦邮件、⽂档、pdf)和⼆进制数据(图像、⾳频、视频)

原始格式：数据不做预处理，保存数据的原始状态
单⼀存储：存储库中会汇总多种数据源，是⼀个单⼀库
⽤于机器学习：除了 BI 、报表分析，数据湖更适⽤于机器学习

一、概述

1.1. OLTP -> OLAP -> HTAP -> 数据湖

概念	场景	典型代表	主要优缺点
数据库	OLTP	三大数据库（Oracle、 MySQL、SQLServer）	OLTP支持的非常好， OLAP支持弱
数据仓库	OLAP	Teradata、Greenplum、 Hive+HDFS、ClickHouse、 Kylin	OLAP支持非常好，OLTP 不支持或者支持的弱
混合数据库	HTAP=OLTP+OLAP	Kudu(先OLAP在OLTP)、 TiDB(先OLTP在OLAP)	OLTP+OLAP都支持但都为支持到极致，折中方案嘛，毕竟是有所取舍
数据湖(现代)	统一数据存储	Hudi、Iceberg、 DeltaLake	除了HTAP的一些场景，还能能支持各种格式，支持多种计算引擎

1.2. 数据湖的适⽤场景

⾮结构化海量数据需要统⼀存储(图像、⾳频等)
除了 BI 、报表分析等，机器学习需求⽐较多(BI->AI)
实时性需求占主要地位

注意：数据湖对于数仓并不是一个绝对替换关系，是可以搭配使用的

二、Hudi

Apache Hudi 是 Uber 开源的数据湖框架，能在 hadoop 兼容的存储之上存储⼤量数据，同时它还提供两种原语，使得除了经典的批处理之外，还可以在数据湖上进⾏流处理。这两种原语分别是：

Update/Delete记录：Hudi使⽤细粒度的⽂件/记录级别索引来⽀持Update/Delete记录，同时还提供写操作的事务保证。查询会处理最后⼀个提交的快照，并基于此输出结果。
变更流：Hudi对获取数据变更提供了⼀流的⽀持：可以从给定的时间点获取给定表中已 updated/inserted/deleted的所有记录的增量流，并解锁新的查询姿势（类别）。