2024-08-30 厉飞雨 阅读(125) 评论(0) 赞(6)

**0x01 免责声明** disclaimer 请勿利用文章内的相关技术从事非法测试，由于传播、利用此文所提供的信息而造成的任何直接或者间接的后果及损失，均由使用者本人负责，作者不为此承担任何责任。信息及工具收集于互联网，真实性及安全性自测，如有侵权请联系删除。本次测试仅供学习使用，如若非法他用，与平台和本文作者无关，需自行负责！！！**0x02 漏洞介绍** Vulner...

2024-08-30 厉飞雨 阅读(56) 评论(0) 赞(6)

RDD 有多少种持久化方式？memory_only 持久化方式，如果内存存储不了，会怎么操作 首次使用 RDD 的时候，我们可以选择对 RDD 进行持久化，当再次使用 RDD 是就可以直接 从之前的缓存中获取而无需再次进行计算。对于需要反复使用的 RDD 会带来很大的性能改 善。 StorageLevel 存储级别包含如下类别 ![](http://static....

2024-08-30 厉飞雨 阅读(47) 评论(0) 赞(1)

Kafka架构图  ![](http://static.51tbox.com/static/2024-08-29/col/76...

2024-08-30 厉飞雨 阅读(119) 评论(0) 赞(6)

常见的MQ产品 ------- | MQ产品 | 所属公司/社区 | 开发语言 | 协议支持 | 支持的客户端语言 | 单机吞吐量 | 消息延迟 | 功能特性 | |----------|--...

2024-08-30 厉飞雨 阅读(74) 评论(0) 赞(7)

 1.提交一个 Spark 应用程序，首先通过 Client 向 ResourceManager 请求启动一个 Applicat...

2024-08-30 厉飞雨 阅读(76) 评论(0) 赞(6)

生产环境中，Kafka 如何保证消息幂等性问题 #### 1.Kafka 幂等性的必要性？ Producer 在生产发送消息时，难免会重复发送消息。Producer 进行 retry 时会产生重试机制， 发生消息重复发送。而引入幂等性后，重复发送只会生成一条有效的消息。Kafka 作为分布 式消息系统，它的使用场景常见与分布式系统中，比如消息推送系统、业务平台系统（...

2024-08-30 厉飞雨 阅读(94) 评论(0) 赞(6)

hadoop集群数据倾斜任务排查实战记录 一、问题发现 作业监控发现作业存在数据倾斜  问题排查 在 YARN 监控页...

2024-08-30 厉飞雨 阅读(96) 评论(0) 赞(6)

HBase 的一级索引就是 rowkey，我们只能通过 rowkey 进行检索。如果我们想对 hbase 里面 列族的列进行一些组合查询，就需要采用 HBase 的二级索引方案来进行多条件的查询。 二级索引的本质：就是建立各列值与行键之间的映射关系。 设计思路： ![](http://static.51tbox.com/static/2024-08-29/col/2a2...

2024-08-30 厉飞雨 阅读(74) 评论(0) 赞(6)

一、问题发现 2019-05-07 XXX 告知 XXX 集群作业跑的很慢，提供作业 ID 为:application_1523379785773_150848 问题排查 作业查看 ![](http://static.51tbox.com/static/2024-08-29/col/9412a55d79f5727018d1deaeba1183a8/ad92a0e4b3...

2024-08-30 厉飞雨 阅读(66) 评论(0) 赞(7)

**所谓推测式执行，就是计算框架判断，如果有一个task执行的过慢，则会启动备份任务，最终使用原任务+备份任务中执行较快task的结果。产生原因一般是程序bug、负载倾斜。** mapreduce 推测执行的参数，开启此参数 ![](http://static.51tbox.com/static/2024-08-29/col/9a02338150d3f340eebf93cc...