2024-09-03 厉飞雨 阅读(75) 评论(0) 赞(7)

k8s 监控kafka集群 kafka_exporter地址：<https://github.com/danielqsj/kafka_exporter> ### 1-下载kafka exporter 镜像： danielqsj/kafka-exporter:v1.7.0 参考 [Prometheus监控k8s中使用exporter的服务 - Big...

2024-09-03 厉飞雨 阅读(89) 评论(0) 赞(6)

IDEA插件 Kafka ============ JetBrains官方研发的插件，支持 IntelliJ IDEA Ultimate, AppCode, Aqua, CLion, DataGrip, DataSpell, GoLand, PhpStorm, PyCharm Professional, Rider, RubyMine, WebStorm。 <http...

2024-09-03 厉飞雨 阅读(94) 评论(0) 赞(5)

这里白眉大叔用 kubesphere 来部署kafka 因为 kafka依赖 zookeeper,先 安装一下 zookeeper 吧。[k8s 部署zookeeper（kubesphere）](https://51tbox.com/) ①kafka的docker官方镜像不能直接用于此次集群服务搭建，由于官方kafka镜像在k8s环境中节点broker.id不能根据k8s的...

2024-09-03 厉飞雨 阅读(66) 评论(0) 赞(6)

### 1.什么叫压力测试 在软件工程中，压力测试是对系统不断施加压力的测试，是通过确定一个系统的瓶颈或者不能接收的性能点，来获得系统能提供的最大服务级别的测试。 ​ 简单来说，所谓压力测试就是对一个集群的处理能力的上限做一个评估。为将来集群扩容提供有效的依据。 ### 2.为什么要进行压力测试 (1)压力测试可以了解当前集群的处理能力上限; (2)当修改集群...

2024-09-03 厉飞雨 阅读(88) 评论(0) 赞(6)

logstash对接kafka: - 模拟logstash作为kafka的生产者 ----------------------- ![](http://static.51tbox.com/static/2024-08-29/col/94bde040234b4a71fb9b494b37e33cdb/057438c131f446249fdcec3adf6551ba.png....

2024-09-03 厉飞雨 阅读(66) 评论(0) 赞(6)

kafka原理之为什么快 消息持久化及其缓存 磁盘性能：在传统的磁盘写入很慢，因为它使用随机写入 50k/s（6 个 7200 转的 sata 硬盘组成的 raid-5），但是线性写入速度有 300ms/s 的速度，所以 kafka 利用线性写入的方式。 线性写入：将数据调用操作系统文件接口写到文件系统里面去这样就缓存到操作系统的页面缓存中，然后传统意思来说将其 flus...

2024-09-03 厉飞雨 阅读(76) 评论(0) 赞(5)

kafka参数调优 ### 1.broke 可以按如下配置 将自动生成 brokeid 自动识别 host.name #broker.id=2 listeners=SASL_PLAINTEXT://:9092 zookeeper.connect=10.161.17.71:2181,10.161.17.72:2181,10.161.17....

2024-09-03 厉飞雨 阅读(57) 评论(0) 赞(6)

Kafka 数据可靠性如何保证？ 对于 kafka 来说，以下几个方面来保障消息分发的可靠性： 1.消息发送的可靠性保障(producer) 2.消息消费的可靠性保障(consumer) 3.Kafka 集群的可靠性保障（Broker） ### 生产者 目前生产者发送消息(acks)有三种方式。 acks=0 producer 不等待 broker 的...

2024-09-03 厉飞雨 阅读(82) 评论(0) 赞(6)

filebeat对接kafka  - 模拟filebeat作为生产者 ----------------- 1.启动消费者 ...

2024-09-03 厉飞雨 阅读(46) 评论(0) 赞(4)

kafka开源监控组件-kafka-eagle 需要 kafka zk 开启 jmx 服务 参考文档: http://www.kafka-eagle.org/articles/docs/installation/dashu-macos.html http://www.kafka-eagle.org/articles/docs/changelog/changelog.htm...