2024-09-03 厉飞雨 阅读(80) 评论(0) 赞(5)

kafka参数调优 ### 1.broke 可以按如下配置 将自动生成 brokeid 自动识别 host.name #broker.id=2 listeners=SASL_PLAINTEXT://:9092 zookeeper.connect=10.161.17.71:2181,10.161.17.72:2181,10.161.17....

2024-09-03 厉飞雨 阅读(60) 评论(0) 赞(6)

Kafka 数据可靠性如何保证？ 对于 kafka 来说，以下几个方面来保障消息分发的可靠性： 1.消息发送的可靠性保障(producer) 2.消息消费的可靠性保障(consumer) 3.Kafka 集群的可靠性保障（Broker） ### 生产者 目前生产者发送消息(acks)有三种方式。 acks=0 producer 不等待 broker 的...

2024-09-03 厉飞雨 阅读(88) 评论(0) 赞(6)

filebeat对接kafka  - 模拟filebeat作为生产者 ----------------- 1.启动消费者 ...

2024-09-03 厉飞雨 阅读(47) 评论(0) 赞(4)

kafka开源监控组件-kafka-eagle 需要 kafka zk 开启 jmx 服务 参考文档: http://www.kafka-eagle.org/articles/docs/installation/dashu-macos.html http://www.kafka-eagle.org/articles/docs/changelog/changelog.htm...

2024-09-03 厉飞雨 阅读(87) 评论(0) 赞(5)

kafka堆内存调优: ### 1.查看堆内存大小 jmap -heap `jps | awk '/Kafka/{print $1}'` | grep MaxHeapSize ![](http://static.51tbox.com/static/2024-08-29/col/580854af3ead68bbf0127f377610df4e/b...

2024-09-03 厉飞雨 阅读(71) 评论(0) 赞(5)

kafka消费者组管理实战 kafka topic管理命令（启动生产者，消费者） : [连接](https://51tbox.com/) ### 1.查看现有的消费者组 kafka-consumer-groups.sh --bootstrap-server 10.0.0.111:9092 --list ![](http://static.51tbox.co...

2024-09-03 厉飞雨 阅读(83) 评论(0) 赞(4)

kafka topic管理命令 kafka topic管理: -------------- ### - 增: 创建一个名为"baimei-dashu87"的topic，分区数为3。 kafka-topics.sh --bootstrap-server 10.0.0.111:9092,10.0.0.112:9092 --create -...

2024-09-03 厉飞雨 阅读(93) 评论(0) 赞(5)

kafka集群安装 这个是在 单机版安装后的前提下 部署的集群， 这样操作比较方便。 ### （1） 先安装单机版 kafka kafka安装（单机版）： [连接](https://51tbox.com/) ### （2）同步kafka程序包到其他节点 data_rsync.sh /baimei/softwares/kafka_2.12-3.3.2 ![]...

2024-09-03 厉飞雨 阅读(103) 评论(0) 赞(5)

linux 安装[kafka](https://51tbox.com/ "View all posts in kafka")，kafka安装（单机版） 需要安装jdk ### (1) kafka 下载 https://kafka.apache.org/ wget https://archive.apache.org/dist/kafka/3....

2024-09-03 厉飞雨 阅读(121) 评论(0) 赞(7)

嗨，你好呀，我是猿java Kafka的 ACK机制是确保消息成功传递和处理的重要机制.这篇文章，我们将详细分析 Kafka ACK机制，包括其原理、源码分析、使用场景以及优缺点。 ACK 方式 {#ACK-方式} ================ Kafka的 ACK机制主要用于确保生产者发送的消息能够被可靠地写入到 Kafka集群的 Topic中。ACK机制的核心思想...