2024-09-03 厉飞雨 阅读(80) 评论(0) 赞(7)

kafka原理之为什么快 消息持久化及其缓存 磁盘性能：在传统的磁盘写入很慢，因为它使用随机写入 50k/s（6 个 7200 转的 sata 硬盘组成的 raid-5），但是线性写入速度有 300ms/s 的速度，所以 kafka 利用线性写入的方式。 线性写入：将数据调用操作系统文件接口写到文件系统里面去这样就缓存到操作系统的页面缓存中，然后传统意思来说将其 flus...

2024-09-03 厉飞雨 阅读(82) 评论(0) 赞(5)

kafka参数调优 ### 1.broke 可以按如下配置 将自动生成 brokeid 自动识别 host.name #broker.id=2 listeners=SASL_PLAINTEXT://:9092 zookeeper.connect=10.161.17.71:2181,10.161.17.72:2181,10.161.17....

2024-09-03 厉飞雨 阅读(61) 评论(0) 赞(6)

Kafka 数据可靠性如何保证？ 对于 kafka 来说，以下几个方面来保障消息分发的可靠性： 1.消息发送的可靠性保障(producer) 2.消息消费的可靠性保障(consumer) 3.Kafka 集群的可靠性保障（Broker） ### 生产者 目前生产者发送消息(acks)有三种方式。 acks=0 producer 不等待 broker 的...

2024-09-03 厉飞雨 阅读(91) 评论(0) 赞(6)

filebeat对接kafka  - 模拟filebeat作为生产者 ----------------- 1.启动消费者 ...

2024-09-03 厉飞雨 阅读(49) 评论(0) 赞(4)

kafka开源监控组件-kafka-eagle 需要 kafka zk 开启 jmx 服务 参考文档: http://www.kafka-eagle.org/articles/docs/installation/dashu-macos.html http://www.kafka-eagle.org/articles/docs/changelog/changelog.htm...

2024-09-03 厉飞雨 阅读(88) 评论(0) 赞(5)

kafka堆内存调优: ### 1.查看堆内存大小 jmap -heap `jps | awk '/Kafka/{print $1}'` | grep MaxHeapSize ![](http://static.51tbox.com/static/2024-08-29/col/580854af3ead68bbf0127f377610df4e/b...

2024-09-03 厉飞雨 阅读(72) 评论(0) 赞(5)

kafka消费者组管理实战 kafka topic管理命令（启动生产者，消费者） : [连接](https://51tbox.com/) ### 1.查看现有的消费者组 kafka-consumer-groups.sh --bootstrap-server 10.0.0.111:9092 --list ![](http://static.51tbox.co...

2024-09-03 厉飞雨 阅读(85) 评论(0) 赞(4)

kafka topic管理命令 kafka topic管理: -------------- ### - 增: 创建一个名为"baimei-dashu87"的topic，分区数为3。 kafka-topics.sh --bootstrap-server 10.0.0.111:9092,10.0.0.112:9092 --create -...

2024-09-03 厉飞雨 阅读(97) 评论(0) 赞(5)

kafka集群安装 这个是在 单机版安装后的前提下 部署的集群， 这样操作比较方便。 ### （1） 先安装单机版 kafka kafka安装（单机版）： [连接](https://51tbox.com/) ### （2）同步kafka程序包到其他节点 data_rsync.sh /baimei/softwares/kafka_2.12-3.3.2 ![]...

2024-09-03 厉飞雨 阅读(105) 评论(0) 赞(5)

linux 安装[kafka](https://51tbox.com/ "View all posts in kafka")，kafka安装（单机版） 需要安装jdk ### (1) kafka 下载 https://kafka.apache.org/ wget https://archive.apache.org/dist/kafka/3....