51工具盒子

2024-11-08 厉飞雨 阅读(129) 评论(0) 赞(11)

<p><a href="http://static.51tbox.com/static/2024-11-07/col/6db13cbfcc6e864009daf257d485124c/0148e0d1f89b46099536b844acd813ff.jpg.jpg"></a></p> <p>经常用 ...

2024-11-08 厉飞雨 阅读(236) 评论(0) 赞(12)

<h2>一言 for Chrome</h2> <p><a href="https://github.com/isecret/hitokoto-newtabs">Github</a> | <a href="https://github.com/isecret/hitokoto-newt...

2024-11-08 厉飞雨 阅读(281) 评论(0) 赞(12)

<h2>前言 {#前言}</h2> <p>如果要在Linux 上设置一个开机自启，出现问题自动重启，并且有良好日志的程序，比较流行的方法有<code>supervisord</code>、<code>systemd</code>，除此之外，还有 upstart、runit 等类似的工具。但是自从...

2024-11-08 厉飞雨 阅读(275) 评论(0) 赞(15)

<p>不管是做爬虫还是写 Web App，Chrome 和 Firefox 的 DevTools 都是超常用的，但是经常发现别人的截图有什么字段我找不到，别人的什么功能我的 Chrome 没有，仔细一搜索才知道，原来是我不会用。。</p> <hr /> <p><code>Ctrl + Shift + I</cod...

2024-11-08 厉飞雨 阅读(140) 评论(0) 赞(15)

<p>YARN资源队列规划</p> <p>1.案例<br /> yz-4m1-01 集群上的队列分为生产型和非生产型。在 2019 年 4 月 12 日凌晨0 点--早上 9 点，非生产型队列占用资源较多，导致集群压力过大，影响了当日早上 9 点的 dwa 下发。生产侧提出了队列资源的优化方案，如下</p> <p...

2024-11-08 厉飞雨 阅读(126) 评论(0) 赞(12)

修改用户 yarn 资源分配

2024-11-08 厉飞雨 阅读(301) 评论(0) 赞(14)

hadoop集群组件版本 {#ude44730b}{#ub7621f5d}{#ubad72453}{#u679ea831}{#u7acb7878}{#ud8c34f3f}{#u1b931e6f}{#u5cf3dee1}{#uc6a66314}{#u52f4d07a}{#u376a28e6}{#u032ad131}{#uad858a0b}{#ud625aebd}{#u568f...

2024-11-08 厉飞雨 阅读(127) 评论(0) 赞(13)

<p>YARN参数调优</p> <h4>1.节点内存资源</h4> <pre><code>yarn.nodemanager.resource.memory-mb </code></pre> <p>NodeManager 一般和 datanode 部署在一起，这些角色本身也...

2024-11-08 厉飞雨 阅读(218) 评论(0) 赞(14)

<p>YARN巡检</p> <p>YARN 为 Hadoop 集群的上层应用，包括 MapReduce、Spark 等计算服务在内，提供了统一的资源管理和调度服务。每日早晚巡检 YARN 服务，主要检查资源池内主机的健康状态，保障 YARN服务可用性。</p> <h4>1.YARN CM 运行状态</h4>...

2024-11-08 厉飞雨 阅读(263) 评论(0) 赞(12)

hadoop集群YARN作业资源不足排查实战 #### 1.现象 目前 CC 集群出现大量任务积压，运行缓慢的情况，怀疑是集群的资源分配出现了问题。 CC 集群总共有 569 个 NodeManager，总共 VCore 数是 27704 ，内存171T，资源比较丰富。理论上，应该足够任务的执行。 经过现场的分析，发现如下现象。 **集群总体的资源使用高，少量剩余**...