2024-10-26 厉飞雨 阅读(35) 评论(0) 赞(4)

[#](#一-什么是kafka) （一）什么是Kafka {#一-什么是kafka} ------------------------------------------ Kafka是一个分布式的基于**发布/订阅模式**的消息队列，同时它又是一个分布式的事件流平台。既可作为消息队列，又可作为数据管道、流分析的应用。目前Kafka的最大应用还是消息队列。 市面上主流的消息队...

2024-10-26 厉飞雨 阅读(25) 评论(0) 赞(4)

[#](#一-概述) （一）概述 {#一-概述} ------------------------ SparkSQL可以理解为在原生的RDD上做的一层封装，通过SparkSQL可以在scala和java中写SQL语句，并将结果作为Dataset/DataFrame返回。简单来讲，SparkSQL可以让我们像写SQL一样去处理内存中的数据。 Dataset是一个数据的分布式集...

2024-10-26 厉飞雨 阅读(25) 评论(0) 赞(4)

[#](#一-生产者的原理) （一）生产者的原理 {#一-生产者的原理} ------------------------------------ 当有数据要从生产者发往消费者的时候，在kafka底层有这样一套流程。首先生产者调用send方法发送消息后，会先经过一层拦截器，接着进入序列化器。序列化器主要用于对消息的Key和Value进行序列化。接着进入分区器选择消息的分区。 ...

2024-10-26 厉飞雨 阅读(29) 评论(0) 赞(3)

[#](#概述) 概述 {#概述} ----------------- 事情的起因要从最近的一个新产品说起，最近部门有一个新的大数据产品规划，在考虑技术实现时，有一个动态表字段扩展的需求，比如原来表结构里只有a、b字段，需要不断的往里新增c、d、e等等字段，并且数据量也特别大。 于是就去寻找实现方案，针对这种数据模型无法确定的情况，非关系型数据库是比较合适的，于是找到了Mo...

2024-10-26 厉飞雨 阅读(43) 评论(0) 赞(3)

嗨，你好呀，我是**猿java** Netty 是一个基于 Java 的高性能网络应用框架，其核心是一个强大的异步事件驱动的网络应用框架，支持 TCP、UDP 和 HTTP 协议。这篇文章，我们将深入探讨 Netty 的线程模型，包括其原理、示例、使用场景以及优缺点。 整体来说，Netty 提供了3种线程模型：单线程模型、Reactor多线程模型和 Reactor主从多线程...

2024-10-26 厉飞雨 阅读(28) 评论(0) 赞(3)

openstack-可以将物理机分配为若干虚拟机 k8s，是特长服务调度。 ### Kubernetes可以替代openstack吗 Kubernetes 和 OpenStack 是两个不同的技术，不能完全替代彼此。OpenStack 是一个基础设施即服务 (IaaS) 平台，主要用于管理物理和虚拟资源，如计算、存储和网络等。而 Kubernetes 是一个容器编排平...

2024-10-26 厉飞雨 阅读(26) 评论(0) 赞(4)

[一文详解Docker容器监控神器：cAdvisor、node exporter、prometheus-CSDN博客](https://blog.csdn.net/Long_xu/article/details/129478370)

2024-10-24 厉飞雨 阅读(45) 评论(0) 赞(5)

[#](#一-概述) （一）概述 {#一-概述} ------------------------ 在前面关于ES的一系列文章中，已经介绍了ES的概念、常用操作、JavaAPI以及实际的一个小demo，但是在真实的应用场景中，还有可能会有更高阶的一些用法，今天主要介绍两种相对来说会更难一些的操作，聚合查询。该文档基于ElasticSearch7.6，将介绍restful查询语...

2024-10-24 厉飞雨 阅读(37) 评论(0) 赞(3)

[#](#一-概述) （一）概述 {#一-概述} ------------------------ 算子从功能上可以分为Transformations转换算子和Action行动算子。转换算子用来做数据的转换操作，比如map、flatMap、reduceByKey等都是转换算子，这类算子通过懒加载执行。行动算子的作用是触发执行，比如foreach、collect、count等都...

2024-10-24 厉飞雨 阅读(32) 评论(0) 赞(4)

[#](#一-概述) （一）概述 {#一-概述} ------------------------ 在考研的时候，我有一门专业课是数据库，因此当时我对数据库的基础知识掌握的还算比较扎实，上周我再翻开当时考研时翻了无数遍的数据库书籍的时候，发现好多内容都忘掉了。刚好也决定开始写数据库相关的文章，就有了下面的内容。 [#](#二-基本概念) （二）基本概念 {#二-基本概念} ...