51工具盒子
通过 systemctl 设置自定义 Service
前言 {#前言} -------- 如果要在Linux 上设置一个开机自启，出现问题自动重启，并且有良好日志的程序，比较流行的方法有`supervisord`、`systemd`，除此之外，还有 upstart、runit 等类似的工具。但是自从 systemd 被 ubuntu、centos 等主流 Linux 发行版应用以来，systemd 渐渐成为主流方案。 如果你需...
操作系统
YARN资源队列规划
YARN资源队列规划 1.案例 yz-4m1-01 集群上的队列分为生产型和非生产型。在 2019 年 4 月 12 日凌晨0 点--早上 9 点，非生产型队列占用资源较多，导致集群压力过大，影响了当日早上 9 点的 dwa 下发。生产侧提出了队列资源的优化方案，如下 
修改用户 yarn 资源分配
修改用户 yarn 资源分配
YARN参数调优
YARN参数调优 #### 1.节点内存资源 yarn.nodemanager.resource.memory-mb NodeManager 一般和 datanode 部署在一起，这些角色本身也要消耗内存，并且操作系统也需要部分内存，建议 Container 内存可以适当降低，这些总的内存相加不能超过节点物理内存，我们给操作系统留 5G 以内的内存 #### 2...
YARN巡检
YARN巡检 YARN 为 Hadoop 集群的上层应用，包括 MapReduce、Spark 等计算服务在内，提供了统一的资源管理和调度服务。每日早晚巡检 YARN 服务，主要检查资源池内主机的健康状态，保障 YARN服务可用性。 #### 1.YARN CM 运行状态 Yarn 集群，目前 Cloudera Manager 显示 6 个不良，16 个存在隐患 ![]...
配置node yarn国内镜像地址
[#](#配置-node-yarn-国内镜像地址) 配置 node yarn 国内镜像地址 {#配置-node-yarn-国内镜像地址} ==================================================================== 本文总结了 node yarn 的国内镜像地址，用来加速 npm 依赖包的下载速度。yarn 是用来替...
Linux 网络工具中的瑞士军刀 - socat & netcat
> 文中的命令均在 macOS Big Sure 和 openSUSE Tumbleweed 上测试通过 socat \& netcat {#socat--netcat} -------------------------------- netcat(network cat) 是一个历史悠久的网络工具包，被称作 TCP/IP 的瑞士军刀，各大 Linux 发行...
Linux 中的虚拟网络接口
> 本文用到的字符画工具：[vscode-asciiflow2](https://github.com/zenghongtu/vscode-asciiflow2) > 注意: 本文中使用 `ip` 命令创建或修改的任何网络配置，都是未持久化的，主机重启即消失。 Linux 具有强大的虚拟网络能力，这也是 openstack 网络、docker 容器网络以及 kub...
Linux/Windows/MacOSX 系统常用命令集锦
> 个人笔记，只会列出我自己容易忘掉的命令，方便查阅。 > 内容比较多，适合当参考手册用。可能不太适合从头读到尾... > 本文主要介绍 Linux 命令，顺带介绍下 Windows/MacOSX. > 其中 awk 只需要学会些常用的用法就够了，这类命令行工具比较适合临时处理一些文本，可读性与维护性都比较差。对于需求比较复杂，而且需要长期使用的脚本，建...
Linux 上的 WireGuard 网络分析（一）
> 阅读此文章需要前置知识：Linux 网络基础知识、iptables、conntrack > 本文内容部分采用了 Copilot 提示内容，也有部分内容用了 ChatGPT 免费版进行分析，确实都比较有帮助。 最近因为工作需要研究了一波 WireGuard 协议，在这篇文章中简单记录下心得。 WireGuard 是什么 {#wireguard-是什么} ---...
