您的位置:首页 > 健康 > 美食 > 软件推广是什么工作_开发公司管理规章制度_线上广告平台_公司官网制作开发

软件推广是什么工作_开发公司管理规章制度_线上广告平台_公司官网制作开发

2024/10/6 1:35:13 来源:https://blog.csdn.net/happycao123/article/details/142497342  浏览:    关键词:软件推广是什么工作_开发公司管理规章制度_线上广告平台_公司官网制作开发
软件推广是什么工作_开发公司管理规章制度_线上广告平台_公司官网制作开发

写在前面

本文介绍了kafka 中几个概念,这几个概念对理解kafka 多副本之间保证数据一致性、可靠性至关重要。

kafka 所有分区的消息都是保存的日志中,读者可以带着下面两个问题阅读本文

1. 新消息该往哪写?

2. 如何衡量副本的同步进度

3. 选举时依据什么选出最佳Leader

几个概念介绍

副本是相对于分区的,每个分区都有自己的副本,并且这些副本分布在不同Broker上。

AR

分区的所有副本集合,包含leader副本。

功能与作用:

kafka 分区分布在不同Broker 上,副本是kafka高可用的关键

ISR

ISR是指与leader副本保持同步的副本集合,也包含leader副本本身。ISR 中的副本数据与主副本是一致的

ISR 是不断变化的,当ISR 中副本滞后 replica.lag.time.max.ms时,该副本就会从ISR中剔除。有新满足条件的副本也会加入到ISR中

  • 只有ISR中的副本才可以参与选举和数据恢复,而ISR中数据是一致可靠的,所以kafka 集群是可靠性和一致性

HW

HW (High Watermark) 代表某分区中所有副本都确认写入的最高偏移量(Offset)。它代表了已经成功复制到所有ISR集合中副本的消息的位置。

HW之前的消息都是可靠的、一致的,消费者只能读取到HW之前的消息。

HW确保了消费者不会读取到未完全同步消息

LEO

LEO(Log End Offset),即日志末端偏移量,即一个分区中消息日志的最后一个位置,也是下一条消息要写入的位置。随着消息不断写入,LEO不断地动态变化。

通过比较各副本的LEO,可以判断它们的同步进度。选举时,选择最大的LEO副本,可以最大程度保证数据的完整性

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com