51工具盒子
k8s 部署kafka （kubesphere）
这里白眉大叔用 kubesphere 来部署kafka 因为 kafka依赖 zookeeper,先 安装一下 zookeeper 吧。[k8s 部署zookeeper（kubesphere）](https://51tbox.com/) ①kafka的docker官方镜像不能直接用于此次集群服务搭建，由于官方kafka镜像在k8s环境中节点broker.id不能根据k8s的...
经验分享
kafka集群压力测试
### 1.什么叫压力测试 在软件工程中，压力测试是对系统不断施加压力的测试，是通过确定一个系统的瓶颈或者不能接收的性能点，来获得系统能提供的最大服务级别的测试。 简单来说，所谓压力测试就是对一个集群的处理能力的上限做一个评估。为将来集群扩容提供有效的依据。 ### 2.为什么要进行压力测试 (1)压力测试可以了解当前集群的处理能力上限; (2)当修改集群...
logstash对接kafka (待完善）
logstash对接kafka: - 模拟logstash作为kafka的生产者 ----------------------- 
kafka原理之为什么快
kafka原理之为什么快 消息持久化及其缓存 磁盘性能：在传统的磁盘写入很慢，因为它使用随机写入 50k/s（6 个 7200 转的 sata 硬盘组成的 raid-5），但是线性写入速度有 300ms/s 的速度，所以 kafka 利用线性写入的方式。 线性写入：将数据调用操作系统文件接口写到文件系统里面去这样就缓存到操作系统的页面缓存中，然后传统意思来说将其 flus...
kafka参数调优
kafka参数调优 ### 1.broke 可以按如下配置 将自动生成 brokeid 自动识别 host.name #broker.id=2 listeners=SASL_PLAINTEXT://:9092 zookeeper.connect=10.161.17.71:2181,10.161.17.72:2181,10.161.17....
Kafka 数据可靠性如何保证？
Kafka 数据可靠性如何保证？ 对于 kafka 来说，以下几个方面来保障消息分发的可靠性： 1.消息发送的可靠性保障(producer) 2.消息消费的可靠性保障(consumer) 3.Kafka 集群的可靠性保障（Broker） ### 生产者 目前生产者发送消息(acks)有三种方式。 acks=0 producer 不等待 broker 的...
filebeat对接kafka
filebeat对接kafka  - 模拟filebeat作为生产者 ----------------- 1.启动消费者 ...
kafka开源监控组件-kafka-eagle
kafka开源监控组件-kafka-eagle 需要 kafka zk 开启 jmx 服务 参考文档: http://www.kafka-eagle.org/articles/docs/installation/dashu-macos.html http://www.kafka-eagle.org/articles/docs/changelog/changelog.htm...
kafka堆内存调优（堆内存大小5~6G）
kafka堆内存调优: ### 1.查看堆内存大小 jmap -heap `jps | awk '/Kafka/{print $1}'` | grep MaxHeapSize 
kafka消费者组管理实战
kafka消费者组管理实战 kafka topic管理命令（启动生产者，消费者） : [连接](https://51tbox.com/) ### 1.查看现有的消费者组 kafka-consumer-groups.sh --bootstrap-server 10.0.0.111:9092 --list 
