2024-11-08 厉飞雨 阅读(22) 评论(0) 赞(1)

前言 {#前言} -------- 如果要在Linux 上设置一个开机自启，出现问题自动重启，并且有良好日志的程序，比较流行的方法有`supervisord`、`systemd`，除此之外，还有 upstart、runit 等类似的工具。但是自从 systemd 被 ubuntu、centos 等主流 Linux 发行版应用以来，systemd 渐渐成为主流方案。 如果你需...

2024-11-08 厉飞雨 阅读(24) 评论(0) 赞(2)

不管是做爬虫还是写 Web App，Chrome 和 Firefox 的 DevTools 都是超常用的，但是经常发现别人的截图有什么字段我找不到，别人的什么功能我的 Chrome 没有，仔细一搜索才知道，原来是我不会用。。 *** ** * ** *** `Ctrl + Shift + I`：打开 DevTools `Ctrl + Shift + J`：打开控制台 ##...

2024-11-08 厉飞雨 阅读(15) 评论(0) 赞(3)

YARN资源队列规划 1.案例 yz-4m1-01 集群上的队列分为生产型和非生产型。在 2019 年 4 月 12 日凌晨0 点--早上 9 点，非生产型队列占用资源较多，导致集群压力过大，影响了当日早上 9 点的 dwa 下发。生产侧提出了队列资源的优化方案，如下 ![](http://static.51tbox.com/static/2024-08-29/col/...

2024-11-08 厉飞雨 阅读(18) 评论(0) 赞(4)

修改用户 yarn 资源分配

2024-11-08 厉飞雨 阅读(23) 评论(0) 赞(3)

hadoop集群组件版本 {#ude44730b}{#ub7621f5d}{#ubad72453}{#u679ea831}{#u7acb7878}{#ud8c34f3f}{#u1b931e6f}{#u5cf3dee1}{#uc6a66314}{#u52f4d07a}{#u376a28e6}{#u032ad131}{#uad858a0b}{#ud625aebd}{#u568f...

2024-11-08 厉飞雨 阅读(18) 评论(0) 赞(2)

YARN参数调优 #### 1.节点内存资源 yarn.nodemanager.resource.memory-mb NodeManager 一般和 datanode 部署在一起，这些角色本身也要消耗内存，并且操作系统也需要部分内存，建议 Container 内存可以适当降低，这些总的内存相加不能超过节点物理内存，我们给操作系统留 5G 以内的内存 #### 2...

2024-11-08 厉飞雨 阅读(20) 评论(0) 赞(4)

YARN巡检 YARN 为 Hadoop 集群的上层应用，包括 MapReduce、Spark 等计算服务在内，提供了统一的资源管理和调度服务。每日早晚巡检 YARN 服务，主要检查资源池内主机的健康状态，保障 YARN服务可用性。 #### 1.YARN CM 运行状态 Yarn 集群，目前 Cloudera Manager 显示 6 个不良，16 个存在隐患 ![]...

2024-11-08 厉飞雨 阅读(24) 评论(0) 赞(3)

hadoop集群YARN作业资源不足排查实战 #### 1.现象 目前 CC 集群出现大量任务积压，运行缓慢的情况，怀疑是集群的资源分配出现了问题。 CC 集群总共有 569 个 NodeManager，总共 VCore 数是 27704 ，内存171T，资源比较丰富。理论上，应该足够任务的执行。 经过现场的分析，发现如下现象。 **集群总体的资源使用高，少量剩余**...

2024-11-08 厉飞雨 阅读(38) 评论(0) 赞(4)

[#](#配置-node-yarn-国内镜像地址) 配置 node yarn 国内镜像地址 {#配置-node-yarn-国内镜像地址} ==================================================================== 本文总结了 node yarn 的国内镜像地址，用来加速 npm 依赖包的下载速度。yarn 是用来替...

2024-11-08 厉飞雨 阅读(19) 评论(0) 赞(3)

画像项目拆分之 hadoop