51工具盒子
hadoop安装与搭建hdfs
配置前必看 本帖的主要目的是用最平实的语言描述配置的进程，同时在每个章节为可能涉及的知识点提供相应的网站以供读者学习。最重要的还是给我自己留个配置的日记。这样Linux玩崩了也能找到回家的路。 1. 本帖主要涉及的目录一共有三个，如有需要，在根目录`/`下创建`export`目录存放以下三个目录(建议)。(解压目录)`servers`、(软件安装目录)`software...
大数据
Hadoop-hive
配置前必看 本帖的主要目的是用最平实的语言描述配置的进程，同时在每个章节为可能涉及的知识点提供相应的网站以供读者学习。最重要的还是给我自己留个配置的日记。这样Linux玩崩了也能找到回家的路。 1. 本帖主要涉及的目录一共有三个，如有需要，在根目录`/`下创建`export`目录存放以下三个目录(建议)。(解压目录)`servers`、(软件安装目录)`software...
hadoop任务提示error: GC overhead limit exceeded
项目中提交任务至Hadoop中，在Reduce阶段以及Applicationmaster阶段均有提示： java.lang.OutOfMemoryError: GC overhead limit exceeded #### 解决办法 增加Hadoop集群资源分配，调整reduce以及Applicationmaster的内存。 > reduce总数的调整取决于...
Hadoop的工作原理是什么？如何搭建一套分布式文件系统？
嗨，你好呀，我是**猿java** Hadoop是什么？它是如何工作的？为什么 Hadoop可以成为全球最流行的大数据处理框架之一？如何基于 Hadoop搭建一套简单的分布式文件系统？这篇我们一起来来深入讨论。 1. Hadoop是什么？ {#1-Hadoop是什么？} ============================= Hadoop是一个开源的分布式计算框架，用...
- 1