2024-12-14 厉飞雨 阅读(43) 评论(0) 赞(2)

配置前必看 本帖的主要目的是用最平实的语言描述配置的进程，同时在每个章节为可能涉及的知识点提供相应的网站以供读者学习。最重要的还是给我自己留个配置的日记。这样Linux玩崩了也能找到回家的路。 1. 本帖主要涉及的目录一共有三个，如有需要，在根目录`/`下创建`export`目录存放以下三个目录(建议)。(解压目录)`servers`、(软件安装目录)`software...

2024-12-14 厉飞雨 阅读(45) 评论(0) 赞(1)

<p>项目中提交任务至Hadoop中，在Reduce阶段以及Applicationmaster阶段均有提示：</p> <pre><code>java.lang.OutOfMemoryError: GC overhead limit exceeded </code></pre> <h4>解决办法&...

2024-12-14 厉飞雨 阅读(63) 评论(0) 赞(1)

<p>嗨，你好呀，我是<strong>猿java</strong></p> <p>Hadoop是什么？它是如何工作的？为什么 Hadoop可以成为全球最流行的大数据处理框架之一？如何基于 Hadoop搭建一套简单的分布式文件系统？这篇我们一起来来深入讨论。</p> <ol> <li>...

2024-11-08 厉飞雨 阅读(63) 评论(0) 赞(5)

hadoop集群组件版本 {#ude44730b}{#ub7621f5d}{#ubad72453}{#u679ea831}{#u7acb7878}{#ud8c34f3f}{#u1b931e6f}{#u5cf3dee1}{#uc6a66314}{#u52f4d07a}{#u376a28e6}{#u032ad131}{#uad858a0b}{#ud625aebd}{#u568f...

2024-11-08 厉飞雨 阅读(40) 评论(0) 赞(3)

hadoop集群YARN作业资源不足排查实战 #### 1.现象 目前 CC 集群出现大量任务积压，运行缓慢的情况，怀疑是集群的资源分配出现了问题。 CC 集群总共有 569 个 NodeManager，总共 VCore 数是 27704 ，内存171T，资源比较丰富。理论上，应该足够任务的执行。 经过现场的分析，发现如下现象。 **集群总体的资源使用高，少量剩余**...

2024-11-08 厉飞雨 阅读(44) 评论(0) 赞(5)

<p>画像项目拆分之 hadoop</p>

2024-09-11 厉飞雨 阅读(112) 评论(0) 赞(7)

### 1 副本存储策略： 1、默认的副本策略： BlockPlacementPolicyDefault 1）1st replica. 如果写请求方所在机器是其中一个 datanode,则直接存放在本地,否则随机在 集群中选择一个 datanode. 2）2nd replica. 第二个副本存放于不同第一个副本的所在的机架. 3）3rd ...

2024-09-11 厉飞雨 阅读(91) 评论(0) 赞(5)

<p>Hadoop 有哪些调度器？我们该如何选择？</p> <h3>hadoop 中常用的调度器有三种：</h3> <p>1)FIFO：（hadoop2.x 之前的默认调度器），它先按照作业的优先级高低，再按照到达时间的先后选择被执行的作业。</p> <p>2)计算能力调度器（容量调度器）Cap...

2024-09-11 厉飞雨 阅读(113) 评论(0) 赞(3)

Hadoop 的性能调优从哪些方面着手 一、硬件方面 二、操作系统参数调优 三、jvm 层面 四、hadoop 层面性能调优 #### 一、硬件方面（网络，多磁盘，多机架）---系统集成人员来做 机架分开，节点均匀放置 #### 二、操作系统参数调优 a）多个网卡：多网卡绑定，做负载均衡或者主备 b）磁盘...

2024-09-11 厉飞雨 阅读(112) 评论(0) 赞(5)

<p>Hadoop 中通过拆分任务到多个节点运行来实现并行计算，但某些节点运行较慢会拖慢整个任务的运行，Hadoop 采用什么机制应对这个情况</p> <h4>Speculative Execution 推测执行</h4> <p>（1）推测执行(Speculative Execution)是指在分布式集群环境下，因为程...