51工具盒子

依楼听风雨
笑看云卷云舒,淡观潮起潮落

最新发布

像写SQL一样去处理内存中的数据,SparkSQL入门教程
数据库

像写SQL一样去处理内存中的数据,SparkSQL入门教程

厉飞雨 阅读(157) 评论(0) 赞(9)

[#](#一-概述) (一)概述 {#一-概述} ------------------------ SparkSQL可以理解为在原生的RDD上做的一层封装,通过SparkSQL可以在scala和java中写SQL语句,并将结果作为Dataset/DataFrame返回。简单来讲,SparkSQL可以让我们像写SQL一样去处理内存中的数据。 Dataset是一个数据的分布式集...

Kafka生产者是如何发送消息的?
经验分享

Kafka生产者是如何发送消息的?

厉飞雨 阅读(123) 评论(0) 赞(12)

<h2><a href="#一-生产者的原理">#</a> (一)生产者的原理 {#一-生产者的原理}</h2> <p>当有数据要从生产者发往消费者的时候,在kafka底层有这样一套流程。首先生产者调用send方法发送消息后,会先经过一层拦截器,接着进入序列化器。序列化器主要用于对消息的Key和Va...

MongoDB快速上手,聊聊这款火了一阵又销声匿迹的非关系型数据库
开发笔记

MongoDB快速上手,聊聊这款火了一阵又销声匿迹的非关系型数据库

厉飞雨 阅读(167) 评论(0) 赞(10)

[#](#概述) 概述 {#概述} ----------------- 事情的起因要从最近的一个新产品说起,最近部门有一个新的大数据产品规划,在考虑技术实现时,有一个动态表字段扩展的需求,比如原来表结构里只有a、b字段,需要不断的往里新增c、d、e等等字段,并且数据量也特别大。 于是就去寻找实现方案,针对这种数据模型无法确定的情况,非关系型数据库是比较合适的,于是找到了Mo...

Netty线程模型!
Java笔记

Netty线程模型!

厉飞雨 阅读(245) 评论(0) 赞(11)

<p>嗨,你好呀,我是<strong>猿java</strong></p> <p>Netty 是一个基于 Java 的高性能网络应用框架,其核心是一个强大的异步事件驱动的网络应用框架,支持 TCP、UDP 和 HTTP 协议。这篇文章,我们将深入探讨 Netty 的线程模型,包括其原理、示例、使用场景以及优缺点。<...

Kubernetes可以替代openstack吗
开发笔记

Kubernetes可以替代openstack吗

厉飞雨 阅读(172) 评论(0) 赞(9)

<p>openstack-可以将物理机分配为若干虚拟机</p> <p>k8s,是特长服务调度。</p> <h3>Kubernetes可以替代openstack吗</h3> <p>Kubernetes 和 OpenStack 是两个不同的技术,不能完全替代彼此。OpenStack 是一个基础设施即...

Spark算子实战Java版,学到了
开源软件

Spark算子实战Java版,学到了

厉飞雨 阅读(216) 评论(0) 赞(10)

<h2><a href="#一-概述">#</a> (一)概述 {#一-概述}</h2> <p>算子从功能上可以分为Transformations转换算子和Action行动算子。转换算子用来做数据的转换操作,比如map、flatMap、reduceByKey等都是转换算子,这类算子通过懒加载执行。行...

一文汇总数据库基础知识点!
软件使用

一文汇总数据库基础知识点!

厉飞雨 阅读(123) 评论(0) 赞(10)

[#](#一-概述) (一)概述 {#一-概述} ------------------------ 在考研的时候,我有一门专业课是数据库,因此当时我对数据库的基础知识掌握的还算比较扎实,上周我再翻开当时考研时翻了无数遍的数据库书籍的时候,发现好多内容都忘掉了。刚好也决定开始写数据库相关的文章,就有了下面的内容。 [#](#二-基本概念) (二)基本概念 {#二-基本概念} ...

InnoDB的缓存池
软件使用

InnoDB的缓存池

厉飞雨 阅读(154) 评论(0) 赞(11)

[#](#innodb中的页) InnoDB中的页 {#innodb中的页} -------------------------------------- InnoDB存储引擎基于页的方式存储在磁盘中,它将数据存储在页(Page)的概念上。一个页是 InnoDB 存储引擎中的最小存储单位,它包含了一定数量的数据行、索引节点和其他元数据。 InnoDB 存储引擎中的页包括了数...