2024-11-13 厉飞雨 阅读(18) 评论(0) 赞(2)

本文将带你了解如何使用 [Spring Boot](/spring-boot/) 和 [Spring Kafka](/spring-kafka/) 管理 Kafka 消费者偏移量（Offset）。 在之的一篇文章中，主要说明了应用处理 Kafka 消息的方式可能会影响系统的整体性能，并没有考虑消费者端的消息重复或消息丢失等问题。本文将会介绍这些话题。 1、源码 {#1源码}...

2024-11-13 厉飞雨 阅读(12) 评论(0) 赞(3)

1、概览 {#1概览} ----------- 本文将带你了解如何在 [Spring Boot](/spring-boot/) 应用中动态地启动和停止 Kafka Listener。 2、依赖 {#2依赖} ----------- 首先，添加 [*spring-kafka*](https://mvnrepository.com/artifact/org.springfra...

2024-11-13 厉飞雨 阅读(13) 评论(0) 赞(3)

1、概览 {#1概览} ----------- 本文将带你了解从 Kafka 命令行（CLI）发送 Key/Value 消息的两种方法。 在处理金融交易、预订、在线购物等实时事件驱动系统中，确保特定 Topic 上消息的有序性是一个常见需求。在这种情况下，我们应该为发送到这些 Topic 的事件使用 *Kafka Message Key*。 2、先决条件 {#2先决条件}...

2024-11-13 厉飞雨 阅读(16) 评论(0) 赞(4)

1、简介 {#1简介} ----------- [*Apache Kafka*](https://kafka.apache.org/) 是一个功能强大的分布式流平台，被广泛用于构建实时数据管道和流应用。然而，Kafka 在运行过程中可能会遇到各种异常和错误。其中一个常见的异常就是 `InstanceAlreadyExistsException`。 本文将带你了解 *Kafk...

2024-10-26 厉飞雨 阅读(37) 评论(0) 赞(4)

[#](#一-什么是kafka) （一）什么是Kafka {#一-什么是kafka} ------------------------------------------ Kafka是一个分布式的基于**发布/订阅模式**的消息队列，同时它又是一个分布式的事件流平台。既可作为消息队列，又可作为数据管道、流分析的应用。目前Kafka的最大应用还是消息队列。 市面上主流的消息队...

2024-10-26 厉飞雨 阅读(25) 评论(0) 赞(4)

[#](#一-生产者的原理) （一）生产者的原理 {#一-生产者的原理} ------------------------------------ 当有数据要从生产者发往消费者的时候，在kafka底层有这样一套流程。首先生产者调用send方法发送消息后，会先经过一层拦截器，接着进入序列化器。序列化器主要用于对消息的Key和Value进行序列化。接着进入分区器选择消息的分区。 ...

2024-10-23 厉飞雨 阅读(35) 评论(0) 赞(4)

嗨，你好，我是**猿java** 在很长一段时间里，ZooKeeper都是 Kafka的标配，现如今，Kafka官方已经在慢慢去除ZooKeeper，Kafka 为什么要抛弃 Zookeeper？这篇文章我们来聊聊其中的缘由。 Kafka 和 ZooKeeper 的关系 {#Kafka-和-ZooKeeper-的关系} ===========================...

2024-10-23 厉飞雨 阅读(31) 评论(0) 赞(4)

嗨，你好呀，我是**猿java** Kafka作为一款优秀的分布式消息中间件，内部也存在一些选举机制，这篇文章，我们将详细地分析 Kafka如何实现选择 Leader？ Kafka集群整体架构 {#Kafka集群整体架构} ========================== Kafka集群是由多个 Kafka Broker通过连同一个 Zookeeper组成，整个架构可...

2024-10-23 厉飞雨 阅读(66) 评论(0) 赞(6)

嗨，你好呀，我是**猿java** Log 是Kafka的核心组件之一，用于持久化存储消息，为了有效管理存储空间和保证系统性能，Kafka 提供了日志保留和数据清理策略。这篇文章，我将详细分析它们的工作原理。 日志保留期 {#日志保留期} ============== Kafka 的日志保留策略决定了消息在 Kafka 中存储的时间长度，保留策略可以基于时间或日志大小来配...

2024-10-09 厉飞雨 阅读(87) 评论(0) 赞(6)

你好，我是猿java。 Kafka优秀的设计实现了高吞吐量和低延迟的数据传输。然而，在 Kafka的实际使用和部署中，会面临很多挑战，特别是对于一些中小公司。这篇文章我们将详细探讨使用 Kafka会遇到哪些挑战。 挑战 {#挑战} ======== 部署和配置问题 {#部署和配置问题} ------------------ 部署 Kafka集群需要处理许多配置参数，这些...