| 名称 | Hudi | Paimon | Iceberg | Delta Lake |
|---|---|---|---|---|
| 安装依赖 | 基础：Java Hudi依赖于Apache Hadoop和Apache Spark | 基础：Java 集群：Hadoop、Zookeeper | 基础：Java | 基础：Java |
| Docker 部署 | 可Docker 部署 | |||
| ACID 事务支持 | ✔️ | ✔️ | ✔️ | ✔️ |
| 写时复制（Copy-On-Write, CoW） | 支持CoW | 不支持CoW，而是采用LSM Tree结构 | 支持CoW | 支持CoW |
| 读时合并（Merge-On-Read, MoR） | ✔️ | ✔️但并行数受限 | ✔️ | ✔️ |
| 批量加载（Bulk Load） | ✔️Bulk Insert | ✖️ | ✖️ | ✖️ |
| 记录级索引(提高合并写入效率) | ✔️ | ✔️ | ✖️ | ✔️ |
| 数据就地升级 | 支持数据就地升级，无需重写数据 | ✖️ | 支持表迁移 | 支持数据就地升级 |
| 增量查询(可以指定时间窗口) | ✔️ | ✔️ | ✔️ | ✔️ |
| 时间旅行（Time Travel） | ✔️ | ✔️ | ✔️ | ✔️ |
| 数据摄入 | 支持DeltaStreamer | 支持Flink CDC导入 | 不支持特定的数据摄入工具 | 支持Spark Streaming和Flink CDC |
| 并发控制 | 支持非阻塞表服务的乐观并发控制（OCC） | 支持多个并发写作业的乐观并发控制 | 支持乐观并发控制（OCC） | 支持乐观并发控制（OCC） |
| 主键（Primary Key） | ✔️ | ✔️ | ✔️ | ✔️ |
| 列统计和数据跳过（Data Skip） | 支持元数据中的列统计，显著提升查询性能 | 支持基于索引的数据跳过 | 支持列统计信息，提高查询性能 | 支持列统计信息 |
| 分区管理 | 不支持动态改变分区结构 | 支持动态改变分区结构 | 支持动态改变分区结构 | 支持动态改变分区结构 |
| 重复数据删除 | 支持重复数据删除 | 支持重复数据删除 | 支持合并时删除重复数据 | 支持重复数据删除 |
| 文件大小调整 | 支持自动调整文件大小 | 不支持文件大小调整 | 需要手动维护文件大小 | 支持自动调整文件大小 |
| Compaction | 支持自动Compaction | 支持自动Compaction | 需要手动维护Compaction | 支持自动Compaction |
| 自动删除旧版本文件 | 支持自动删除旧版本文件 | 不完全支持，需要手动指定快照时间 | 不完全支持，需要手动清理旧版本 | 支持自动删除旧版本文件 |
| 分区清理 | ✔️ | ✔️ | ✔️ | ✔️ |
| 新增索引 | ✔️ | ✔️ | ✖️ | ✔️ |
| 线性聚类和聚类函数 | 支持线性聚类和多种聚类函数 | 不支持线性聚类 | 不支持线性聚类 | 支持线性聚类 |
| 元数据扩展性 | 支持元数据根据数据大小进行扩展 | 不完全支持，需要管理表布局 | 不完全支持，需要管理文件布局 | 支持元数据扩展性 |
| 数据质量检查和执行 | 支持预提交验证器和数据质量检查 | ✖️ | ✖️ | 支持数据质量检查 |
| 提交回调通知 | 支持提交回调通知 | ✖️ | ✖️ | 支持提交回调通知 |
| 保护免受提交失败数据写入的影响 | 支持自动标记机制 | 不支持，但有一致性保障机制 | 不支持 | 支持自动标记机制 |
| 监控 | 支持自动监控的MetricsReporter | 支持 | 不支持 | 支持自动监控 |
| 数据恢复 | 支持数据快照恢复 | 不支持 | 支持Flink的savepoint | 支持数据快照恢复 |
| 计算引擎支持 | 支持Spark、Flink、Presto、Trino、Hive等 | 支持Spark、Flink、Presto、Trino、Hive等 | 支持Spark、Flink、Presto、Trino、Hive等 | 支持Spark、Flink、Presto、Trino、Hive等 |
推荐
- Hudi：适合需要高效更新、删除和合并操作的场景，特别是当数据需要频繁修改时。
- Paimon：适合需要高性能读取和复杂数据处理的场景，特别是在Flink生态系统中。
- Iceberg：适合需要高性能查询和大规模数据处理的场景，特别是当数据主要以追加方式写入时。
- Delta Lake：适合需要高性能查询和ACID事务支持的场景，特别是在Spark生态系统中。
官网
Release 0.15.0 | Apache Hudi
Quickstart — Delta Lake Documentation
Apache Paimon | Apache Paimon
Introduction - Apache Iceberg™