2024-08-30 厉飞雨 阅读(75) 评论(0) 赞(6)

一、问题发现 2019-05-07 XXX 告知 XXX 集群作业跑的很慢，提供作业 ID 为:application_1523379785773_150848 问题排查 作业查看 ![](http://static.51tbox.com/static/2024-08-29/col/9412a55d79f5727018d1deaeba1183a8/ad92a0e4b3...

2024-08-30 厉飞雨 阅读(69) 评论(0) 赞(7)

**所谓推测式执行，就是计算框架判断，如果有一个task执行的过慢，则会启动备份任务，最终使用原任务+备份任务中执行较快task的结果。产生原因一般是程序bug、负载倾斜。** mapreduce 推测执行的参数，开启此参数 ![](http://static.51tbox.com/static/2024-08-29/col/9a02338150d3f340eebf93cc...

2024-08-30 厉飞雨 阅读(94) 评论(0) 赞(6)

集群作业执行缓慢问题排查 1 ### 问题发现 2022-05-07 XXX 告知 XXX 集群作业跑的很慢，提供作业 ID 为:application_1523379785773_87898 问题排查 作业查看 排查的时候作业已经执行完毕，发现只有 58 个 map，且没有 reduce，实在不应该慢！ ![](http://static.51tbox.com/...

2024-08-30 厉飞雨 阅读(84) 评论(0) 赞(3)

HBase 参数调优 ### 1.Region 相关参数 hbase.hregion.max.filesize 默认 10G，Region 中任意 HStore 所有文件大小总和大于该值就会进行分裂。实际生产环境中该值不建议太大，也不能太小，太大会导致系统后台执行 compaction 消耗大量系统资源，一定程度上影响业务响应；太小会导致Region 分裂比较频繁...

2024-08-30 厉飞雨 阅读(82) 评论(0) 赞(7)

1.查看状态  2.查看流量 ![](http://static.51tbox.com/static/2024-08-29/...

2024-08-30 厉飞雨 阅读(110) 评论(0) 赞(7)

HBase 巡检 HBase 是使用 HDFS 作为底层存储的 NoSQL 数据库，提供了满足实时性和随即读写功能的数据库服务。 每日早晚巡检 HBase 服务，检查各集群的 HMaster 和 RegionServer 状态，是否事务积压等问题。 ### 1.查看 CM HBase 的整体状态 1.HBase 的状态，目前看没有严重警告 ![](http://sta...

2024-08-30 厉飞雨 阅读(62) 评论(0) 赞(8)

安装python3模块时，yum命令无法执行 /usr/bin/yum: line 2: import: command not found /usr/bin/yum: line 3: try:: command not found /usr/bin/yum: line 4: import: command not found /usr/...

2024-08-30 厉飞雨 阅读(80) 评论(0) 赞(7)

linux 安装 python tar.gz ### 第1种 ：离线安装 我们把安装包 上传到 linux 这个包，我给大家准备好了： requests-2.8.1.tar.gz: https://url69.ctfile.com/f/253469-854749249-771939?p=2206 (访问密码: 2206) 解压： tar xf request...

2024-08-30 厉飞雨 阅读(105) 评论(0) 赞(7)

5.自定义告警内容 默认标题: 故障: {EVENT.NAME} 消息内容: 报警主机: {HOST.NAME1} 报警服务: {ITEM.NAME} 报警key1: {ITEM.KEY1}: {ITEM.VALUE1} 报警key2: {ITEM.KEY2}: {ITEM.VALUE2} 严重级别...

2024-08-30 厉飞雨 阅读(79) 评论(0) 赞(7)

需求： 发生报警后， 给 相关人员 发送邮件： 配置邮件：  ![](http://static.51tbox.com/st...