2024-10-26 厉飞雨 阅读(322) 评论(0) 赞(14)

<h2><a href="#一-什么是kafka">#</a> （一）什么是Kafka {#一-什么是kafka}</h2> <p>Kafka是一个分布式的基于<strong>发布/订阅模式</strong>的消息队列，同时它又是一个分布式的事件流平台。既可作为消息队列，又可...

2024-10-26 厉飞雨 阅读(174) 评论(0) 赞(16)

<h2><a href="#一-生产者的原理">#</a> （一）生产者的原理 {#一-生产者的原理}</h2> <p>当有数据要从生产者发往消费者的时候，在kafka底层有这样一套流程。首先生产者调用send方法发送消息后，会先经过一层拦截器，接着进入序列化器。序列化器主要用于对消息的Key和Va...

2024-10-23 厉飞雨 阅读(629) 评论(0) 赞(20)

<p>嗨，你好呀，我是<strong>猿java</strong></p> <p>Log 是Kafka的核心组件之一，用于持久化存储消息，为了有效管理存储空间和保证系统性能，Kafka 提供了日志保留和数据清理策略。这篇文章，我将详细分析它们的工作原理。</p> <h1>日志保留期 {#日志保留...

2024-10-23 厉飞雨 阅读(344) 评论(0) 赞(19)

<p>嗨，你好，我是<strong>猿java</strong></p> <p>在很长一段时间里，ZooKeeper都是 Kafka的标配，现如今，Kafka官方已经在慢慢去除ZooKeeper，Kafka 为什么要抛弃 Zookeeper？这篇文章我们来聊聊其中的缘由。</p> <h1>Kaf...

2024-10-23 厉飞雨 阅读(183) 评论(0) 赞(12)

<p>嗨，你好呀，我是<strong>猿java</strong></p> <p>Kafka作为一款优秀的分布式消息中间件，内部也存在一些选举机制，这篇文章，我们将详细地分析 Kafka如何实现选择 Leader？</p> <h1>Kafka集群整体架构 {#Kafka集群整体架构}</h...

2024-10-09 厉飞雨 阅读(369) 评论(0) 赞(18)

<p>嗨，你好呀，我是猿java</p> <p>Kafka 的高可用性和高可靠性与它的 ISR机制密切相关。那么，什么是 ISR？ 它是如何工作的？这篇文章，我们来详解 Kafka 的 ISR 机制。</p> <h1>什么是 ISR机制？ {#什么是-ISR机制？}</h1> <p>ISR 的全...

2024-10-09 厉飞雨 阅读(472) 评论(0) 赞(16)

<p>嗨，你好呀，我是<strong>猿java</strong></p> <p>在 Apache Kafka 中，避免重复消费是一个常见的问题，尤其是在处理消息时需要确保每条消息只被处理一次。那么，有什么方式可以避免重复消费？这篇文章，我们来聊一聊。</p> <p>通常来说，避免重复消费的方式...

2024-10-09 厉飞雨 阅读(328) 评论(0) 赞(15)

你好，我是猿java。 对于一款优秀的分布式框架来说，绝大多数情况下会优先考虑 CAP 定理中的 P（分区容错性），因为它可以确保即使在某些服务器出现故障的情况下，数据仍然可用。这篇文章，我们来一起深入探讨 Kafka的分区容错性是如何实现的。 Kafka分区的基本概念 {#Kafka分区的基本概念} ============================ 在 Kafk...

2024-10-09 厉飞雨 阅读(313) 评论(0) 赞(16)

你好，我是猿java。 Kafka优秀的设计实现了高吞吐量和低延迟的数据传输。然而，在 Kafka的实际使用和部署中，会面临很多挑战，特别是对于一些中小公司。这篇文章我们将详细探讨使用 Kafka会遇到哪些挑战。 挑战 {#挑战} ======== 部署和配置问题 {#部署和配置问题} ------------------ 部署 Kafka集群需要处理许多配置参数，这些...

2024-09-03 厉飞雨 阅读(293) 评论(0) 赞(22)

<p>k8s 监控kafka集群</p> <p>kafka_exporter地址：<a href="https://github.com/danielqsj/kafka_exporter">https://github.com/danielqsj/kafka_exporter</a></p&g...