2024-11-19 厉飞雨 阅读(153) 评论(0) 赞(17)

<p>在公司测试环境由于内存不足导致kafka服务自动停止，再次启动时java服务日志存在报错：</p> <pre><code>2024-09-18 10:31:35.727 WARN 23061 --- [consumer-0-C-1] o.a.k.c.NetworkClient : [C...

2024-11-19 厉飞雨 阅读(239) 评论(0) 赞(17)

<p>项目中kafka异常重启导致输出日志报错如下:</p> <pre><code>[2022-11-04 08:24:31,508] FATAL [KafkaServer id=1] Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server...

2024-11-19 厉飞雨 阅读(180) 评论(0) 赞(24)

#### 什么是Kafka 在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。 Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 Kafka最初是由LinkedIn公司开发，并于 2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为...

2024-11-19 厉飞雨 阅读(174) 评论(0) 赞(13)

<p>报错信息:Failed to send messages after 3 tries.</p> <pre><code>[2020-03-30 06:53:28,302] ERROR Error in handling batch of 1 events (kafka.producer.async.ProducerSendTh...

2024-11-13 厉飞雨 阅读(239) 评论(0) 赞(17)

<h2>1、概览 {#1概览}</h2> <p>本文将带你了解如何在 <a href="/spring-boot/">Spring Boot</a> 应用中动态地启动和停止 Kafka Listener。</p> <h2>2、依赖 {#2依赖}</h2> <...

2024-11-13 厉飞雨 阅读(315) 评论(0) 赞(15)

<h2>1、简介 {#1简介}</h2> <p><a href="https://kafka.apache.org/"><em>Apache Kafka</em></a> 是一个功能强大的分布式流平台，被广泛用于构建实时数据管道和流应用。然而，Kafka 在运行过程中可能会遇...

2024-11-13 厉飞雨 阅读(350) 评论(0) 赞(17)

<h2>1、概览 {#1概览}</h2> <p>本文将带你了解从 Kafka 命令行（CLI）发送 Key/Value 消息的两种方法。</p> <p>在处理金融交易、预订、在线购物等实时事件驱动系统中，确保特定 Topic 上消息的有序性是一个常见需求。在这种情况下，我们应该为发送到这些 Topic 的事件使用 &l...

2024-11-13 厉飞雨 阅读(328) 评论(0) 赞(13)

<p>本文将带你了解如何使用 <a href="/spring-boot/">Spring Boot</a> 和 <a href="/spring-kafka/">Spring Kafka</a> 管理 Kafka 消费者偏移量（Offset）。</p> <p&...

2024-11-13 厉飞雨 阅读(178) 评论(0) 赞(13)

<h2>1、简介 {#1简介}</h2> <p>本文将带你了解如何在 <a href="/spring/">Spring</a> 中为 Apache Kafka 配置死信队列。</p> <h2>2、死信队列 {#2死信队列}</h2> <p>死信队列（...

2024-11-13 厉飞雨 阅读(203) 评论(0) 赞(16)

1、简介 {#1简介} ----------- [Apache Kafka](https://kafka.apache.org/) 是一个分布式流平台，擅长处理海量实时数据流。Kafka 将数据组织成 Topic（主题），并进一步将 Topic 划分为 Partition（分区）。每个分区都是一个独立的 Channel（通道），可实现并行处理和容错。 本文将带你了解如何把数...