2024-09-11 厉飞雨 阅读(51) 评论(0) 赞(9)

安装docker，默认的情况容器的默认存储路径会存储系统盘的 /var/lib/docker 目录下，系统盘一般默认 50G，容器输出的所有的日志，文件，镜像，都会存在这个地方，时间久了就会占满系统盘。 解决办法： 1、停掉docker服务 * systemctl stop docker 2、找到一个大的磁盘空间，创建存储目录 * mkdir -p /home/doc...

2024-09-11 厉飞雨 阅读(35) 评论(0) 赞(4)

### 前言 随着数字化转型的推进，企业越来越依赖于云端技术来存储、管理和共享重要的业务文件。传统的本地存储处理方案虽然可靠，但在灵活性、可访问性和协作方面显得力不从心。尤其在远程工作变得日益普遍的今天，如何高-效地管理分散团队之间的文件交换与协作成为了新的挑战。因此，一款能够满足现代企业需求的云盘处理方案变得尤为重要。 那么，有没有这样一款软件能处理上述问题呢？接下来我们...

2024-09-11 厉飞雨 阅读(90) 评论(0) 赞(7)

### 1 副本存储策略： 1、默认的副本策略： BlockPlacementPolicyDefault 1）1st replica. 如果写请求方所在机器是其中一个 datanode,则直接存放在本地,否则随机在 集群中选择一个 datanode. 2）2nd replica. 第二个副本存放于不同第一个副本的所在的机架. 3）3rd ...

2024-09-11 厉飞雨 阅读(69) 评论(0) 赞(5)

Hadoop 有哪些调度器？我们该如何选择？ ### hadoop 中常用的调度器有三种： 1)FIFO：（hadoop2.x 之前的默认调度器），它先按照作业的优先级高低，再按照到达时间的先后选择被执行的作业。 2)计算能力调度器（容量调度器）Capacity schedular：（hadoop2.x 之后的默认调度器）支持多个队列，每个队列可配置一定的资源量，每个队列...

2024-09-11 厉飞雨 阅读(97) 评论(0) 赞(3)

Hadoop 的性能调优从哪些方面着手 一、硬件方面 二、操作系统参数调优 三、jvm 层面 四、hadoop 层面性能调优 #### 一、硬件方面（网络，多磁盘，多机架）---系统集成人员来做 机架分开，节点均匀放置 #### 二、操作系统参数调优 a）多个网卡：多网卡绑定，做负载均衡或者主备 b）磁盘...

2024-09-11 厉飞雨 阅读(80) 评论(0) 赞(5)

Hadoop 中通过拆分任务到多个节点运行来实现并行计算，但某些节点运行较慢会拖慢整个任务的运行，Hadoop 采用什么机制应对这个情况 #### Speculative Execution 推测执行 （1）推测执行(Speculative Execution)是指在分布式集群环境下，因为程序 BUG，负载不均衡或者资源分布不均等原因，造成同一个 job 的多个 task ...

2024-09-11 厉飞雨 阅读(84) 评论(0) 赞(4)

什么是 Hadoop 分布式缓存 1）Hadoop 分布式缓存是 Map-Reduce 框架提供的用于缓存应用程序所需文件（文本文件、 存档文件、Jar 文件等）的工具。 2）当 MapReduce 处理大型数据集间的 join 操作时，此时如果一个数据集很大而另外一 个集合很小，以至于可以分发到集群中的每个节点之中。 这种情况下，我们就用到了 Hadoop ...

2024-09-11 厉飞雨 阅读(88) 评论(0) 赞(5)

hdfs-site.xml (base) [root@up01 hadoop]# cat hdfs-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href...

2024-09-11 厉飞雨 阅读(67) 评论(0) 赞(6)

hadoop 优化文件系统 Linux 文件系统推荐使用 EXT4 和 XFS 文件系统，相比较而言，更推荐后者，因为 XFS 已经帮我们做了大量的优化。 Linux 文件系统会记录文件创建、修改和访问操作的时间信息，这在读写操作频繁的应用中将带来不小的性能损失。在挂载文件系统时设置 noatime和 nodiratime 可禁止文件系统记录文件和目录的访问时间，这...

2024-09-10 厉飞雨 阅读(107) 评论(0) 赞(6)

Domain Admin是一个轻量级监控方案，占用系统资源较少。能够帮助你管理不同网站的SSL证书，在证书即将过期的时候进行提醒，对于`Let's Encrypt`证书还可以自动续期。可以很好的解决SSL证书过期导致网站无法正常访问的问题了\~ 核心功能：域名、SSL证书 和 托管证书文件 的过期监控，到期提醒 支持证书：单域名证书、多域名证书、通配...