2024-10-09 厉飞雨 阅读(64) 评论(0) 赞(5)

你好，我是猿java。 对于一款优秀的分布式框架来说，绝大多数情况下会优先考虑 CAP 定理中的 P（分区容错性），因为它可以确保即使在某些服务器出现故障的情况下，数据仍然可用。这篇文章，我们来一起深入探讨 Kafka的分区容错性是如何实现的。 Kafka分区的基本概念 {#Kafka分区的基本概念} ============================ 在 Kafk...

2024-10-09 厉飞雨 阅读(120) 评论(0) 赞(7)

嗨，你好呀，我是**猿java** 在 Apache Kafka 中，避免重复消费是一个常见的问题，尤其是在处理消息时需要确保每条消息只被处理一次。那么，有什么方式可以避免重复消费？这篇文章，我们来聊一聊。 通常来说，避免重复消费的方式有 7种： 1. 使用消费者组 {#1-使用消费者组} ===================== Kafka的消费者组（Consume...

2024-10-09 厉飞雨 阅读(92) 评论(0) 赞(4)

嗨，你好呀，我是猿java Kafka 的高可用性和高可靠性与它的 ISR机制密切相关。那么，什么是 ISR？ 它是如何工作的？这篇文章，我们来详解 Kafka 的 ISR 机制。 什么是 ISR机制？ {#什么是-ISR机制？} ======================== ISR 的全称叫做`In-Sync Replicas`(同步副本集)，ISR 动态维护了一个...

2024-09-03 厉飞雨 阅读(107) 评论(0) 赞(7)

kubesphere部署kafka单点 {#articleContentId} ======================================= [kubesphere部署kafka单点_Jason Yien的博客-CSDN博客](https://blog.csdn.net/baidu_35805755/article/details/131709391) ...

2024-09-03 厉飞雨 阅读(101) 评论(0) 赞(7)

[kafka配置外网访问 - 简书 (jianshu.com)](https://www.jianshu.com/p/3991c4ce8928)

2024-09-03 厉飞雨 阅读(80) 评论(0) 赞(7)

k8s 监控kafka集群 kafka_exporter地址：<https://github.com/danielqsj/kafka_exporter> ### 1-下载kafka exporter 镜像： danielqsj/kafka-exporter:v1.7.0 参考 [Prometheus监控k8s中使用exporter的服务 - Big...

2024-09-03 厉飞雨 阅读(90) 评论(0) 赞(6)

IDEA插件 Kafka ============ JetBrains官方研发的插件，支持 IntelliJ IDEA Ultimate, AppCode, Aqua, CLion, DataGrip, DataSpell, GoLand, PhpStorm, PyCharm Professional, Rider, RubyMine, WebStorm。 <http...

2024-09-03 厉飞雨 阅读(97) 评论(0) 赞(5)

这里白眉大叔用 kubesphere 来部署kafka 因为 kafka依赖 zookeeper,先 安装一下 zookeeper 吧。[k8s 部署zookeeper（kubesphere）](https://51tbox.com/) ①kafka的docker官方镜像不能直接用于此次集群服务搭建，由于官方kafka镜像在k8s环境中节点broker.id不能根据k8s的...

2024-09-03 厉飞雨 阅读(68) 评论(0) 赞(6)

### 1.什么叫压力测试 在软件工程中，压力测试是对系统不断施加压力的测试，是通过确定一个系统的瓶颈或者不能接收的性能点，来获得系统能提供的最大服务级别的测试。 ​ 简单来说，所谓压力测试就是对一个集群的处理能力的上限做一个评估。为将来集群扩容提供有效的依据。 ### 2.为什么要进行压力测试 (1)压力测试可以了解当前集群的处理能力上限; (2)当修改集群...

2024-09-03 厉飞雨 阅读(91) 评论(0) 赞(6)

logstash对接kafka: - 模拟logstash作为kafka的生产者 ----------------------- ![](http://static.51tbox.com/static/2024-08-29/col/94bde040234b4a71fb9b494b37e33cdb/057438c131f446249fdcec3adf6551ba.png....