2024-12-14 厉飞雨 阅读(257) 评论(0) 赞(16)

前言 {#前言} ======== 根据前几次的经验，这一次，运用脚本的形式安装，可以节约大部分的步骤，把一些前置的配置什么的写到shell脚本里面，随着`vagrant up`启动命令一起安装 集群环境： | | IP | 内存 | CPU核数 | |:------:|-------------|----|-------| | maste...

2024-12-14 厉飞雨 阅读(420) 评论(0) 赞(12)

前言 {#前言} ======== 需要在电脑上安装好VirtualBox和Vagrant 构建3台虚拟机 {#构建3台虚拟机} ================== 1、编写Vagrantfile文件 {#1编写vagrantfile文件} ------------------------------------- 内容如下： Vagrant.configu...

2024-12-14 厉飞雨 阅读(448) 评论(0) 赞(15)

<p><a href="/categories/%E8%99%9A%E6%8B%9F%E5%8C%96%E8%BF%90%E7%BB%B4/">虚拟化运维</a> <a href="/tags/Kubernetes/">Kubernetes</a></p> <h...

2024-12-14 厉飞雨 阅读(347) 评论(0) 赞(15)

<p>因阿里云加速服务调整，镜像加速服务自2024年7月起不再支持，拉取镜像，下载网络插件等操作，需要科学上网访问DockerHub。</p> <p>安装全过程均使用<strong>ROOT</strong>权限。</p> <h2>1.安装前准备工作 {#1-安装前准备工作}</h2>...

2024-12-14 厉飞雨 阅读(486) 评论(0) 赞(13)

配置前必看 本帖的主要目的是用最平实的语言描述配置的进程，同时在每个章节为可能涉及的知识点提供相应的网站以供读者学习。最重要的还是给我自己留个配置的日记。这样Linux玩崩了也能找到回家的路。 1. 本帖主要涉及的目录一共有三个，如有需要，在根目录`/`下创建`export`目录存放以下三个目录(建议)。(解压目录)`servers`、(软件安装目录)`software...

2024-12-14 厉飞雨 阅读(523) 评论(0) 赞(13)

配置前必看 本帖的主要目的是用最平实的语言描述配置的进程，同时在每个章节为可能涉及的知识点提供相应的网站以供读者学习。最重要的还是给我自己留个配置的日记。这样Linux玩崩了也能找到回家的路。 1. 本帖主要涉及的目录一共有三个，如有需要，在根目录`/`下创建`export`目录存放以下三个目录(建议)。(解压目录)`servers`、(软件安装目录)`software...

2024-12-14 厉飞雨 阅读(405) 评论(0) 赞(21)

<p>项目中提交任务至Hadoop中，在Reduce阶段以及Applicationmaster阶段均有提示：</p> <pre><code>java.lang.OutOfMemoryError: GC overhead limit exceeded </code></pre> <h4>解决办法&...

2024-12-14 厉飞雨 阅读(418) 评论(0) 赞(13)

<p>嗨，你好呀，我是<strong>猿java</strong></p> <p>Hadoop是什么？它是如何工作的？为什么 Hadoop可以成为全球最流行的大数据处理框架之一？如何基于 Hadoop搭建一套简单的分布式文件系统？这篇我们一起来来深入讨论。</p> <ol> <li>...

2024-12-14 厉飞雨 阅读(521) 评论(0) 赞(17)

spark 丢失临时文件问题 HHH 日志改造问题 背景 目前 HHH 日志初筛程序由于 RPC 处理时间过长，需要优化改造成 SparkStreaming 处理； 同时，HHH 日志解析后续 DP、DK、DEL 表生成同样适用MR 处理，浪费大量资源，可改造合并到 Spark Streaming 中一块处理。但在合并初筛、HHH 日志解析、DP、DK、DEL 时，碰到...

2024-12-14 厉飞雨 阅读(490) 评论(0) 赞(16)

英文: How to transform in DataFrame in PySpark? 问题 {#heading} ============= 以下是翻译好的部分： 我在 Py Spark 中有一个数据框，其中包含列：id、name、value。 列名应为每个id取值`A、B、C`。value列包含数值。 样本数据框: dat...