2024-11-19 厉飞雨 阅读(7) 评论(0) 赞(3)

报错信息:Failed to send messages after 3 tries. [2020-03-30 06:53:28,302] ERROR Error in handling batch of 1 events (kafka.producer.async.ProducerSendThread) kafka.common.FailedToSendMe...

2024-11-19 厉飞雨 阅读(6) 评论(0) 赞(2)

#### 什么是Kafka 在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。 Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 Kafka最初是由LinkedIn公司开发，并于 2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为...

2024-11-19 厉飞雨 阅读(8) 评论(0) 赞(3)

项目中kafka异常重启导致输出日志报错如下: [2022-11-04 08:24:31,508] FATAL [KafkaServer id=1] Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) java.lang.RuntimeEx...

2024-11-19 厉飞雨 阅读(7) 评论(0) 赞(3)

在公司测试环境由于内存不足导致kafka服务自动停止，再次启动时java服务日志存在报错： 2024-09-18 10:31:35.727 WARN 23061 --- [consumer-0-C-1] o.a.k.c.NetworkClient : [Consumer clientId=consumer-ori-datasou...

2024-11-19 厉飞雨 阅读(7) 评论(0) 赞(2)

1、简介 {#1简介} ----------- 在 Apache Kafka 中传输消息时，客户端和服务器会就使用共同的语法格式达成协议。Apache Kafka 提供了默认的转换器（Converter），如 `String` 和 `Long`。同时也支持针对特定用例的自定义序列化器 （Serializer）。 2、Apache Kafka 中的 Serializer {#...

2024-11-19 厉飞雨 阅读(8) 评论(0) 赞(3)

1、简介 {#1简介} ----------- 消费者组允许多个消费者从同一 Topic 消费数据，有助于创建更具可扩展性的 Kafka 应用。 本文将带你了解消费者组以及它们如何在其消费者之间重新平衡分区（Rebalance Partition）。 2、消费者组是什么？ {#2消费者组是什么} ---------------------- 消费者组是一组与一个或多个 ...

2024-11-13 厉飞雨 阅读(21) 评论(0) 赞(2)

1、概览 {#1概览} ----------- [Apache Kafka](https://kafka.apache.org/) 是一个功能强大、分布式、容错的流处理系统。在之前的教程中，介绍了 [如何在 Spring 中整合、使用 Kafka](/spring-kafka/)。 本文将在 [上一节](/spring-kafka/) 的基础上带你了解如何编写可靠、独立的集...

2024-11-13 厉飞雨 阅读(17) 评论(0) 赞(2)

1、概览 {#1概览} ----------- 本文将带你了解 [Spring Kafka](/spring-kafka/) 中的 "Trusted Packages" 功能，了解其背后的动机以及用法。 2、先决条件 {#2先决条件} --------------- 一般来说，Spring Kafka 模块允许我们指定一些关于发送的 POJO 的元数据...

2024-11-13 厉飞雨 阅读(17) 评论(0) 赞(2)

1、简介 {#1简介} ----------- [Apache Kafka](https://kafka.apache.org/) 是一个分布式流平台，擅长处理海量实时数据流。Kafka 将数据组织成 Topic（主题），并进一步将 Topic 划分为 Partition（分区）。每个分区都是一个独立的 Channel（通道），可实现并行处理和容错。 本文将带你了解如何把数...

2024-11-13 厉飞雨 阅读(13) 评论(0) 赞(3)

1、简介 {#1简介} ----------- 本文将带你了解如何在 [Spring](/spring/) 中为 Apache Kafka 配置死信队列。 2、死信队列 {#2死信队列} --------------- 死信队列（Dead Letter Queue，DLQ）用于存储由于各种原因无法正确处理的消息，例如间歇性系统故障、无效的消息模式或损坏的内容。这些消息可以...