2025-01-05 厉飞雨 阅读(259) 评论(0) 赞(17)

#### 一、Docker简介 Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的[Linux](https://baike.baidu.com/item/Linux)或Windows操作系统的机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。 一个完整的Docker有以下几个部...

2025-01-05 厉飞雨 阅读(308) 评论(0) 赞(17)

用wget下载文件的时候经常会发生Unable to establish SSL connection的情况，如下图 \[root@localhost \~\]# wget https://dlcdn.apache.org/tomcat/tomcat-8/v8.5.81/bin/apache-tomcat-8.5.81.tar.gz [![](http://stat...

2025-01-05 厉飞雨 阅读(306) 评论(0) 赞(15)

#### 一、私服介绍 私服是指私有服务器，是架设在局域网的一种特殊的远程仓库，目的是代理远程仓库及部署第三方构建。有了私服之后，当Maven需要下载构件时，直接请求私服，私服上存在则下载到本地仓库；否则，私服请求外部的远程仓库，将构件下载到私服，再提供给本地仓库下载。 [![](http://static.51tbox.com/static/2025-01-04/co...

2025-01-05 厉飞雨 阅读(431) 评论(0) 赞(17)

### 一、Azkaban 简介 Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。 ### 二、安装准备工作 系统环境：CentOS Linux release 7.9.2009 ...

2025-01-05 厉飞雨 阅读(185) 评论(0) 赞(20)

### 一、大数据环境发展历史 2009年新的Apache Hadoop子项目成立，2011年3月被称为"21世纪的瑞士军刀"，12月27日发布1.0.0可用，2013年10月15日发布2.2.0可用，推动大数据技术快速落地企业。 1、安装方式分为原生包（tar包安装），和集群管理工具安装（HDP，CDH，CDP） * 原生包方式 缺点：...

2025-01-05 厉飞雨 阅读(282) 评论(0) 赞(17)

linux命令是对Linux系统进行管理的命令。对于Linux系统来说，无论是中央处理器、内存、磁盘驱动器、键盘、鼠标，还是用户等都是文件，Linux系统管理的命令是它正常运行的核心。 **线上查询及帮助命令（2个）** man：查看命令帮助，命令的词典，更复杂的还有info，但不常用。 help：查看Linux内置命令的帮助，比如cd命令。 **文件和目录...

2025-01-05 厉飞雨 阅读(228) 评论(0) 赞(17)

### 1、Hive入门教程 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive是一个数据仓库基础工具在H...

2025-01-05 厉飞雨 阅读(387) 评论(0) 赞(15)

#### 一、Ambari概述 Ambari跟Hadoop等开源软件一样，也是Apache Software Foundation中的一个项目，并且是顶级项目。Apache Ambari是一个基于Web的支持Apache Hadoop集群的供应、管理和监控的开源工具，Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Z...

2025-01-05 厉飞雨 阅读(227) 评论(0) 赞(16)

#### 一、ELK简介 ELK是三个开源软件的缩写，分别为：Elasticsearch 、 Logstash以及Kibana , 它们都是开源软件。不过现在还新增了一个Beats，它是一个轻量级的日志收集处理工具(Agent)，Beats占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具，目前由于原本的ELK Stack成员中加入了 Beat...

2025-01-05 厉飞雨 阅读(335) 评论(0) 赞(18)

#### 一、Elasticsearch Head简介 Head是Elasticsearch的集群管理工具，可用于数据的查询和浏览、建立索引等功能，运行Elasticsearch head会用到grunt，而grunt需要npm包管理器，所以node.js必须要安装。 Elasticsearch 5.0版本后Elasticesrch head不做为插件放在其plugin...