51工具盒子

依楼听风雨
笑看云卷云舒,淡观潮起潮落

经验分享

Chrome 新标签页插件「一言」

Chrome 新标签页插件「一言」

厉飞雨 阅读(19) 评论(0) 赞(2)

一言 for Chrome ------------- [Github](https://github.com/isecret/hitokoto-newtabs) \| [Issues](https://github.com/isecret/hitokoto-newtabs/issues) Chrome 新标签页,基于一言 *Hitokoto.cn_,简洁的黑白设计,基于 ...

通过 systemctl 设置自定义 Service

通过 systemctl 设置自定义 Service

厉飞雨 阅读(23) 评论(0) 赞(1)

前言 {#前言} -------- 如果要在Linux 上设置一个开机自启,出现问题自动重启,并且有良好日志的程序,比较流行的方法有`supervisord`、`systemd`,除此之外,还有 upstart、runit 等类似的工具。但是自从 systemd 被 ubuntu、centos 等主流 Linux 发行版应用以来,systemd 渐渐成为主流方案。 如果你需...

Chrome 与 Firefox-Dev 的 DevTools

Chrome 与 Firefox-Dev 的 DevTools

厉飞雨 阅读(24) 评论(0) 赞(2)

不管是做爬虫还是写 Web App,Chrome 和 Firefox 的 DevTools 都是超常用的,但是经常发现别人的截图有什么字段我找不到,别人的什么功能我的 Chrome 没有,仔细一搜索才知道,原来是我不会用。。 *** ** * ** *** `Ctrl + Shift + I`:打开 DevTools `Ctrl + Shift + J`:打开控制台 ##...

YARN资源队列规划

YARN资源队列规划

厉飞雨 阅读(16) 评论(0) 赞(3)

YARN资源队列规划 1.案例 yz-4m1-01 集群上的队列分为生产型和非生产型。在 2019 年 4 月 12 日凌晨0 点--早上 9 点,非生产型队列占用资源较多,导致集群压力过大,影响了当日早上 9 点的 dwa 下发。生产侧提出了队列资源的优化方案,如下 ![](http://static.51tbox.com/static/2024-08-29/col/...

hadoop集群组件版本

hadoop集群组件版本

厉飞雨 阅读(24) 评论(0) 赞(3)

hadoop集群组件版本 {#ude44730b}{#ub7621f5d}{#ubad72453}{#u679ea831}{#u7acb7878}{#ud8c34f3f}{#u1b931e6f}{#u5cf3dee1}{#uc6a66314}{#u52f4d07a}{#u376a28e6}{#u032ad131}{#uad858a0b}{#ud625aebd}{#u568f...

YARN参数调优

YARN参数调优

厉飞雨 阅读(18) 评论(0) 赞(2)

YARN参数调优 #### 1.节点内存资源 yarn.nodemanager.resource.memory-mb NodeManager 一般和 datanode 部署在一起,这些角色本身也要消耗内存,并且操作系统也需要部分内存,建议 Container 内存可以适当降低,这些总的内存相加不能超过节点物理内存,我们给操作系统留 5G 以内的内存 #### 2...

YARN巡检

YARN巡检

厉飞雨 阅读(20) 评论(0) 赞(4)

YARN巡检 YARN 为 Hadoop 集群的上层应用,包括 MapReduce、Spark 等计算服务在内,提供了统一的资源管理和调度服务。每日早晚巡检 YARN 服务,主要检查资源池内主机的健康状态,保障 YARN服务可用性。 #### 1.YARN CM 运行状态 Yarn 集群,目前 Cloudera Manager 显示 6 个不良,16 个存在隐患 ![]...

hadoop集群YARN作业资源不足排查实战

hadoop集群YARN作业资源不足排查实战

厉飞雨 阅读(25) 评论(0) 赞(3)

hadoop集群YARN作业资源不足排查实战 #### 1.现象 目前 CC 集群出现大量任务积压,运行缓慢的情况,怀疑是集群的资源分配出现了问题。 CC 集群总共有 569 个 NodeManager,总共 VCore 数是 27704 ,内存171T,资源比较丰富。理论上,应该足够任务的执行。 经过现场的分析,发现如下现象。 **集群总体的资源使用高,少量剩余**...