2025-01-05 厉飞雨 阅读(291) 评论(0) 赞(15)

一、/etc/fstab文件的作用 /etc/fstab是用来存放文件系统的静态信息的文件。位于/etc/目录下，可以用命令less /etc/fstab来查看，如果要修改的话，则用命令vim /etc/fstab来修改。 系统开机时会主动读取/etc/fstab这个文件中的内容，系统会自动地从这个文件读取信息，并且会自动将此文件中指定的文件系统挂载到指定的目录，这...

2025-01-05 厉飞雨 阅读(325) 评论(0) 赞(17)

1、通过重定向到null清空文件内容 使用shell重定向null(不存在的对象)到文件的最简单方法来清空文件内容 \[root@localhost \~\]# \> access.log 2、使用true命令重定向清空文件 这里我们将使用一个符号,:是一个shell内置命令，本质上等同于true命令，它可被用来作为一个 no-op（即不进行任何操...

2025-01-05 厉飞雨 阅读(259) 评论(0) 赞(17)

#### 一、Docker简介 Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的[Linux](https://baike.baidu.com/item/Linux)或Windows操作系统的机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。 一个完整的Docker有以下几个部...

2025-01-05 厉飞雨 阅读(308) 评论(0) 赞(17)

用wget下载文件的时候经常会发生Unable to establish SSL connection的情况，如下图 \[root@localhost \~\]# wget https://dlcdn.apache.org/tomcat/tomcat-8/v8.5.81/bin/apache-tomcat-8.5.81.tar.gz [![](http://stat...

2025-01-05 厉飞雨 阅读(306) 评论(0) 赞(15)

#### 一、私服介绍 私服是指私有服务器，是架设在局域网的一种特殊的远程仓库，目的是代理远程仓库及部署第三方构建。有了私服之后，当Maven需要下载构件时，直接请求私服，私服上存在则下载到本地仓库；否则，私服请求外部的远程仓库，将构件下载到私服，再提供给本地仓库下载。 [![](http://static.51tbox.com/static/2025-01-04/co...

2025-01-05 厉飞雨 阅读(431) 评论(0) 赞(17)

### 一、Azkaban 简介 Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。 ### 二、安装准备工作 系统环境：CentOS Linux release 7.9.2009 ...

2025-01-05 厉飞雨 阅读(185) 评论(0) 赞(20)

### 一、大数据环境发展历史 2009年新的Apache Hadoop子项目成立，2011年3月被称为"21世纪的瑞士军刀"，12月27日发布1.0.0可用，2013年10月15日发布2.2.0可用，推动大数据技术快速落地企业。 1、安装方式分为原生包（tar包安装），和集群管理工具安装（HDP，CDH，CDP） * 原生包方式 缺点：...

2025-01-05 厉飞雨 阅读(282) 评论(0) 赞(17)

linux命令是对Linux系统进行管理的命令。对于Linux系统来说，无论是中央处理器、内存、磁盘驱动器、键盘、鼠标，还是用户等都是文件，Linux系统管理的命令是它正常运行的核心。 **线上查询及帮助命令（2个）** man：查看命令帮助，命令的词典，更复杂的还有info，但不常用。 help：查看Linux内置命令的帮助，比如cd命令。 **文件和目录...

2025-01-05 厉飞雨 阅读(228) 评论(0) 赞(17)

### 1、Hive入门教程 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive是一个数据仓库基础工具在H...

2025-01-05 厉飞雨 阅读(387) 评论(0) 赞(15)

#### 一、Ambari概述 Ambari跟Hadoop等开源软件一样，也是Apache Software Foundation中的一个项目，并且是顶级项目。Apache Ambari是一个基于Web的支持Apache Hadoop集群的供应、管理和监控的开源工具，Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Z...