2024-09-03 厉飞雨 阅读(276) 评论(0) 赞(16)

kafka原理之为什么快 消息持久化及其缓存 磁盘性能：在传统的磁盘写入很慢，因为它使用随机写入 50k/s（6 个 7200 转的 sata 硬盘组成的 raid-5），但是线性写入速度有 300ms/s 的速度，所以 kafka 利用线性写入的方式。 线性写入：将数据调用操作系统文件接口写到文件系统里面去这样就缓存到操作系统的页面缓存中，然后传统意思来说将其 flus...

2024-09-03 厉飞雨 阅读(260) 评论(0) 赞(15)

logstash对接kafka: - 模拟logstash作为kafka的生产者 ----------------------- ![](http://static.51tbox.com/static/2024-08-29/col/94bde040234b4a71fb9b494b37e33cdb/057438c131f446249fdcec3adf6551ba.png....

2024-09-03 厉飞雨 阅读(298) 评论(0) 赞(16)

### 1.什么叫压力测试 在软件工程中，压力测试是对系统不断施加压力的测试，是通过确定一个系统的瓶颈或者不能接收的性能点，来获得系统能提供的最大服务级别的测试。 ​ 简单来说，所谓压力测试就是对一个集群的处理能力的上限做一个评估。为将来集群扩容提供有效的依据。 ### 2.为什么要进行压力测试 (1)压力测试可以了解当前集群的处理能力上限; (2)当修改集群...

2024-09-03 厉飞雨 阅读(263) 评论(0) 赞(18)

filebeat对接kafka  - 模拟filebeat作为生产者 ----------------- 1.启动消费者 ...

2024-09-03 厉飞雨 阅读(203) 评论(0) 赞(14)

kafka开源监控组件-kafka-eagle 需要 kafka zk 开启 jmx 服务 参考文档: http://www.kafka-eagle.org/articles/docs/installation/dashu-macos.html http://www.kafka-eagle.org/articles/docs/changelog/changelog.htm...

2024-09-03 厉飞雨 阅读(386) 评论(0) 赞(19)

<p>kafka堆内存调优:</p> <h3>1.查看堆内存大小</h3> <pre><code>jmap -heap `jps | awk '/Kafka/{print $1}'` | grep MaxHeapSize </code></pre> <p>...

2024-09-03 厉飞雨 阅读(309) 评论(0) 赞(14)

<p>kafka消费者组管理实战</p> <p>kafka topic管理命令（启动生产者，消费者） : <a href="https://51tbox.com/">连接</a></p> <h3>1.查看现有的消费者组</h3> <pre><co...

2024-09-03 厉飞雨 阅读(227) 评论(0) 赞(14)

kafka topic管理命令 kafka topic管理: -------------- ### - 增: 创建一个名为"baimei-dashu87"的topic，分区数为3。 kafka-topics.sh --bootstrap-server 10.0.0.111:9092,10.0.0.112:9092 --create -...

2024-09-03 厉飞雨 阅读(313) 评论(0) 赞(15)

<p>kafka集群安装</p> <p>这个是在 单机版安装后的前提下 部署的集群，</p> <p>这样操作比较方便。</p> <h3>（1） 先安装单机版 kafka</h3> <p>kafka安装（单机版）： <a href="https://51tb...

2024-09-03 厉飞雨 阅读(312) 评论(0) 赞(15)

<p>linux 安装<a href="https://51tbox.com/" title="View all posts in kafka">kafka</a>，kafka安装（单机版）</p> <p>需要安装jdk</p> <h3>(1) kafka...