51工具盒子
推测执行hadoop
**所谓推测式执行，就是计算框架判断，如果有一个task执行的过慢，则会启动备份任务，最终使用原任务+备份任务中执行较快task的结果。产生原因一般是程序bug、负载倾斜。** mapreduce 推测执行的参数，开启此参数 
集群作业执行缓慢问题排查 1
集群作业执行缓慢问题排查 1 ### 问题发现 2022-05-07 XXX 告知 XXX 集群作业跑的很慢，提供作业 ID 为:application_1523379785773_87898 问题排查 作业查看 排查的时候作业已经执行完毕，发现只有 58 个 map，且没有 reduce，实在不应该慢！ 
HBase 参数调优
HBase 参数调优 ### 1.Region 相关参数 hbase.hregion.max.filesize 默认 10G，Region 中任意 HStore 所有文件大小总和大于该值就会进行分裂。实际生产环境中该值不建议太大，也不能太小，太大会导致系统后台执行 compaction 消耗大量系统资源，一定程度上影响业务响应；太小会导致Region 分裂比较频繁...
kafka 巡检
1.查看状态  2.查看流量 
HBase 巡检
HBase 巡检 HBase 是使用 HDFS 作为底层存储的 NoSQL 数据库，提供了满足实时性和随即读写功能的数据库服务。 每日早晚巡检 HBase 服务，检查各集群的 HMaster 和 RegionServer 状态，是否事务积压等问题。 ### 1.查看 CM HBase 的整体状态 1.HBase 的状态，目前看没有严重警告 
MySQL物理备份实战（冷和热）-基于文件的复制Xtrabackup
在数据库服务运行使用过程中，除了上面介绍的逻辑备份数据方法，还可以采用物理方式备份数据信息； 物理备份数据方式又可以细分为`冷备份和热备份`两种，和逻辑备份相比，它的最大优点是备份和恢复的速度更快； 因为物理备份的原理都是基于文件的cp。 
mysql 逻辑备份实战（mysqldump）初级 （常用）
mysql 逻辑备份实战（mysqldump） 在进行数据库数据逻辑备份操作过程中，主要会运用mysqldump逻辑备份工具，可以实现本地或远程的数据备份； 利用mysqldump进行逻辑备份数据时，主要的备份逻辑是将建库、建表、数据插入语句信息导出，实现数据的备份操作； 基于mysqldump备份数据的逻辑原理，对于数据量比较小的场景（单表数据行百万以内），mysqld...
mysql 逻辑备份实战（mysqldump）进阶
mysql 逻辑备份实战（mysqldump）进阶 上文中已经提到mysqldump命令工具基本的数据库和数据表的备份方式，除了以上说明的参数用法，还有其他备份参数信息； 同样可以实现进阶方式的数据库信息备份保存： **数据库数据备份进阶方式一：利用命令参数 --single-transaction** 这个参数的用法作用可以利用一个形象的例子去理解：比如在某个时刻班主...
mysql 逻辑备份应用案例 实战
mysql 逻辑备份应用案例 实战 * **项目实战介绍：** 模拟企业生产场景，数据库管理人员误删除了数据库数据信息，通过mysqldump全备的部分数据信息，进行部分数据信息恢复； 再结合binlog日志文件增量数据信息，实现数据库增量数据恢复，最终实现数据库全部数据的完整复原。 * **项目实战背景：** 在某某小型企业工作环境时，企业数据库服务数据存储量小于5...
mysql 日志信息远程备份
mysql 日志信息远程备份 可以实现将数据库中（特别是主库）生成的binlog日志文件，及时备份保存到专门的日志备份服务器中，并且整个备份操作都是在线的； [root@xiaoQ-01 ~]# mkdir -p /binlog_backup [root@xiaoQ-01 ~]# cd /binlog_backup/ [root@xiaoQ-01...
