2024-08-30 厉飞雨 阅读(101) 评论(0) 赞(6)

minio是**对象存储 的。类似一个网盘，大家可以想象成一个开源的百度网盘。** 对象存储可以理解为，普通的存储，区别就是 我们放进去的文件，没有路径这些概念，我们只通过文件的ID 来取，先这样简单理解就行了，不用太过的照搬概念。 首先 Minio 是一个基于 Apache License v2.0 开源协议的对象存储服务。它兼容亚马逊 S3 云存储服务接口， ...

2024-08-30 厉飞雨 阅读(60) 评论(0) 赞(7)

官方文档： https://docs.docker.com/engine/install/centos/ ### 0-先配置一下 docker 的存储目录： mkdir -p /mnt/data/docker ln -s /mnt/data/docker /var/lib/docker 检查一下： ll /var/lib/ ![](htt...

2024-08-30 厉飞雨 阅读(48) 评论(0) 赞(6)

RDD 有多少种持久化方式？memory_only 持久化方式，如果内存存储不了，会怎么操作 首次使用 RDD 的时候，我们可以选择对 RDD 进行持久化，当再次使用 RDD 是就可以直接 从之前的缓存中获取而无需再次进行计算。对于需要反复使用的 RDD 会带来很大的性能改 善。 StorageLevel 存储级别包含如下类别 ![](http://static....

2024-08-30 厉飞雨 阅读(45) 评论(0) 赞(1)

Kafka架构图  ![](http://static.51tbox.com/static/2024-08-29/col/76...

2024-08-30 厉飞雨 阅读(116) 评论(0) 赞(6)

常见的MQ产品 ------- | MQ产品 | 所属公司/社区 | 开发语言 | 协议支持 | 支持的客户端语言 | 单机吞吐量 | 消息延迟 | 功能特性 | |----------|--...

2024-08-30 厉飞雨 阅读(71) 评论(0) 赞(7)

 1.提交一个 Spark 应用程序，首先通过 Client 向 ResourceManager 请求启动一个 Applicat...

2024-08-30 厉飞雨 阅读(73) 评论(0) 赞(6)

生产环境中，Kafka 如何保证消息幂等性问题 #### 1.Kafka 幂等性的必要性？ Producer 在生产发送消息时，难免会重复发送消息。Producer 进行 retry 时会产生重试机制， 发生消息重复发送。而引入幂等性后，重复发送只会生成一条有效的消息。Kafka 作为分布 式消息系统，它的使用场景常见与分布式系统中，比如消息推送系统、业务平台系统（...

2024-08-30 厉飞雨 阅读(79) 评论(0) 赞(6)

hadoop集群数据倾斜任务排查实战记录 一、问题发现 作业监控发现作业存在数据倾斜  问题排查 在 YARN 监控页...

2024-08-30 厉飞雨 阅读(92) 评论(0) 赞(5)

HBase 的一级索引就是 rowkey，我们只能通过 rowkey 进行检索。如果我们想对 hbase 里面 列族的列进行一些组合查询，就需要采用 HBase 的二级索引方案来进行多条件的查询。 二级索引的本质：就是建立各列值与行键之间的映射关系。 设计思路： ![](http://static.51tbox.com/static/2024-08-29/col/2a2...

2024-08-30 厉飞雨 阅读(70) 评论(0) 赞(4)

一、问题发现 2019-05-07 XXX 告知 XXX 集群作业跑的很慢，提供作业 ID 为:application_1523379785773_150848 问题排查 作业查看 ![](http://static.51tbox.com/static/2024-08-29/col/9412a55d79f5727018d1deaeba1183a8/ad92a0e4b3...