2024-08-30 厉飞雨 阅读(23) 评论(0) 赞(0)

Kafka架构图       一个典型的 Kafka 集群中包含若干个 Prod…

2024-08-30 厉飞雨 阅读(31) 评论(0) 赞(1)

常见的MQ产品 MQ产品 所属公司/社区 开发语言 协议支持 支持的客户端语言 单机吞吐量 消息延迟 功能特性…

2024-08-30 厉飞雨 阅读(28) 评论(0) 赞(1)

    1.提交一个 Spark 应用程序，首先通过 Client 向 ResourceM…

2024-08-30 厉飞雨 阅读(22) 评论(0) 赞(1)

生产环境中，Kafka 如何保证消息幂等性问题 1.Kafka 幂等性的必要性？ Producer 在生产发送…

2024-08-30 厉飞雨 阅读(28) 评论(0) 赞(1)

hadoop集群数据倾斜任务排查实战记录 一、问题发现 作业监控发现作业存在数据倾斜 问题排查 在 YARN …

2024-08-30 厉飞雨 阅读(21) 评论(0) 赞(1)

HBase 的一级索引就是 rowkey，我们只能通过 rowkey 进行检索。如果我们想对 hbase 里面…

2024-08-30 厉飞雨 阅读(25) 评论(0) 赞(2)

一、问题发现 2019-05-07 XXX 告知 XXX 集群作业跑的很慢，提供作业 ID 为:applica…

2024-08-30 厉飞雨 阅读(26) 评论(0) 赞(1)

  所谓推测式执行，就是计算框架判断，如果有一个task执行的过慢，则会启动备份任务，最终使用原任务…

2024-08-30 厉飞雨 阅读(25) 评论(0) 赞(1)

集群作业执行缓慢问题排查 1 问题发现 2022-05-07 XXX 告知 XXX 集群作业跑的很慢，提供作业…

2024-08-30 厉飞雨 阅读(25) 评论(0) 赞(1)

HBase 参数调优 1.Region 相关参数 hbase.hregion.max.filesize 默认 …