51工具盒子

依楼听风雨
笑看云卷云舒,淡观潮起潮落

数据库

minio是什么 以及minio单机部署-minio 安装

minio是什么 以及minio单机部署-minio 安装

厉飞雨 阅读(116) 评论(0) 赞(6)

minio是**对象存储 的。类似一个网盘,大家可以想象成一个开源的百度网盘。** 对象存储可以理解为,普通的存储,区别就是 我们放进去的文件,没有路径这些概念,我们只通过文件的ID 来取,先这样简单理解就行了,不用太过的照搬概念。 首先 Minio 是一个基于 Apache License v2.0 开源协议的对象存储服务。它兼容亚马逊 S3 云存储服务接口, ...

docker 安装 (centos)yum版

docker 安装 (centos)yum版

厉飞雨 阅读(96) 评论(0) 赞(7)

官方文档: https://docs.docker.com/engine/install/centos/ ### 0-先配置一下 docker 的存储目录: mkdir -p /mnt/data/docker ln -s /mnt/data/docker /var/lib/docker 检查一下: ll /var/lib/ ![](htt...

hadoop集群数据倾斜任务排查实战记录

hadoop集群数据倾斜任务排查实战记录

厉飞雨 阅读(117) 评论(0) 赞(7)

hadoop集群数据倾斜任务排查实战记录 一、问题发现 作业监控发现作业存在数据倾斜 ![](http://static.51tbox.com/static/2024-08-29/col/53b6505160936fdb32da874fab258243/cfa9921fa7dd4a02a13e159e1a4560b7.png.jpg) 问题排查 在 YARN 监控页...

集群作业执行缓慢问题排查 2(GC)

集群作业执行缓慢问题排查 2(GC)

厉飞雨 阅读(96) 评论(0) 赞(6)

一、问题发现 2019-05-07 XXX 告知 XXX 集群作业跑的很慢,提供作业 ID 为:application_1523379785773_150848 问题排查 作业查看 ![](http://static.51tbox.com/static/2024-08-29/col/9412a55d79f5727018d1deaeba1183a8/ad92a0e4b3...

推测执行hadoop

推测执行hadoop

厉飞雨 阅读(76) 评论(0) 赞(7)

**所谓推测式执行,就是计算框架判断,如果有一个task执行的过慢,则会启动备份任务,最终使用原任务+备份任务中执行较快task的结果。产生原因一般是程序bug、负载倾斜。** mapreduce 推测执行的参数,开启此参数 ![](http://static.51tbox.com/static/2024-08-29/col/9a02338150d3f340eebf93cc...

集群作业执行缓慢问题排查 1

集群作业执行缓慢问题排查 1

厉飞雨 阅读(108) 评论(0) 赞(6)

集群作业执行缓慢问题排查 1 ### 问题发现 2022-05-07 XXX 告知 XXX 集群作业跑的很慢,提供作业 ID 为:application_1523379785773_87898 问题排查 作业查看 排查的时候作业已经执行完毕,发现只有 58 个 map,且没有 reduce,实在不应该慢! ![](http://static.51tbox.com/...

HBase 参数调优

HBase 参数调优

厉飞雨 阅读(103) 评论(0) 赞(4)

HBase 参数调优 ### 1.Region 相关参数 hbase.hregion.max.filesize 默认 10G,Region 中任意 HStore 所有文件大小总和大于该值就会进行分裂。实际生产环境中该值不建议太大,也不能太小,太大会导致系统后台执行 compaction 消耗大量系统资源,一定程度上影响业务响应;太小会导致Region 分裂比较频繁...

kafka 巡检

kafka 巡检

厉飞雨 阅读(98) 评论(0) 赞(7)

1.查看状态 ![](http://static.51tbox.com/static/2024-08-29/col/fff45fc750007e26b9f6e79801d3df78/d981162455c845778b0dc8e906fd1318.png.jpg) 2.查看流量 ![](http://static.51tbox.com/static/2024-08-29/...

HBase 巡检

HBase 巡检

厉飞雨 阅读(126) 评论(0) 赞(7)

HBase 巡检 HBase 是使用 HDFS 作为底层存储的 NoSQL 数据库,提供了满足实时性和随即读写功能的数据库服务。 每日早晚巡检 HBase 服务,检查各集群的 HMaster 和 RegionServer 状态,是否事务积压等问题。 ### 1.查看 CM HBase 的整体状态 1.HBase 的状态,目前看没有严重警告 ![](http://sta...

MySQL物理备份实战(冷和热)-基于文件的复制Xtrabackup

MySQL物理备份实战(冷和热)-基于文件的复制Xtrabackup

厉飞雨 阅读(109) 评论(0) 赞(6)

在数据库服务运行使用过程中,除了上面介绍的逻辑备份数据方法,还可以采用物理方式备份数据信息; 物理备份数据方式又可以细分为`冷备份和热备份`两种,和逻辑备份相比,它的最大优点是备份和恢复的速度更快; 因为物理备份的原理都是基于文件的cp。 ![](http://static.51tbox.com/static/2024-08-29/col/920f68df997dfa7a...