2024-10-26 厉飞雨 阅读(24) 评论(0) 赞(3)

[#](#前言) 前言 {#前言} ----------------- 要想看官方对于JDK21的更新说明，可以直接跳转到下面这个官方网站中 官网地址为：[https://openjdk.org/projects/jdk/21/ (opens new window)](https://openjdk.org/projects/jdk/21/) JDK21是最新的LTS版本...

2024-10-26 厉飞雨 阅读(34) 评论(0) 赞(1)

[#](#一-介绍) （一）介绍 {#一-介绍} ------------------------ ElasticSearch的目标就是**实现搜索** 。在数据量少的时候，我们可以通过索引去搜索关系型数据库中的数据，但是如果数据量很大，搜索的效率就会很低，这个时候我们就需要一种分布式的搜索引擎。Elasticsearch是一个**基于Lucene的搜索服务器** 。它提供了...

2024-10-26 厉飞雨 阅读(43) 评论(0) 赞(1)

[#](#一-概述) （一）概述 {#一-概述} ------------------------ 有人说学习一项技术最好的资料是官方文档，对大部分技术来说确实是这样的。但是官方文档不一定适合每个人去看，比如一个初学者，直接让他看Spring的官方文档，其实是不合适的。今天我会结合ElasticSearch的一个客户端官方文档介绍ES在Java中的API应用。 官方文档不一...

2024-10-26 厉飞雨 阅读(44) 评论(0) 赞(4)

[#](#一-介绍) （一）介绍 {#一-介绍} ------------------------ 在大多数系统中，都需要支持搜索的功能，以简单博客系统为例，虽然说Mysql也可以通过模糊查询匹配到对应的数据，但是效率实在太低。这个时候就需要拿出分布式搜索引擎**ElasticSearch**了。本博客重点在于ES的集成使用，因此前端采用最简单的方式呈现，大家只需要关注后端逻...

2024-10-26 厉飞雨 阅读(53) 评论(0) 赞(4)

[#](#一-es如何存储对象) （一）ES如何存储对象 {#一-es如何存储对象} ------------------------------------------ ElasticSearch中可以将数据以对象的方式存储并查询，但是ES底层的Lucene 没有内部对象的概念，因此如果通过默认的方式往ES中插入对象，ES会将对象层次结构扁平化为字段名称和值的简单列表。 比...

2024-10-26 厉飞雨 阅读(38) 评论(0) 赞(4)

[#](#一-概述) （一）概述 {#一-概述} ------------------------ 前段时间公司规划了一个新的项目，我成了这个项目的负责人。在做技术选型时，有一个需求阻碍了前进的步伐。大概有十亿条数据，数据总量在六百G左右，这些海量的数据需要每天根据一定的逻辑计算得到几千万的值。当数据量达到这种程度时，Java应用已经无法支撑了，于是在技术选型时选中了大数据计...

2024-10-26 厉飞雨 阅读(45) 评论(0) 赞(4)

[#](#前言) 前言 {#前言} ----------------- 之前项目里用的ES一直是7.6.2版本，后来得到通知需要将集群升级到7.17.13，因此写下这篇文章做个记录。 [#](#前期准备) 前期准备 {#前期准备} ----------------------- 升级版本：7.6.2 -\> 7.17.13 机器数量：三台Linux服务器组成的集群...

2024-10-26 厉飞雨 阅读(38) 评论(0) 赞(3)

[#](#一-概述) （一）概述 {#一-概述} ------------------------ Spark计算框架封装了三种主要的数据结构：RDD（弹性分布式数据集）、累加器（分布式共享只写变量）、广播变量（分布式共享支只读变量） [#](#二-rdd) （二）RDD {#二-rdd} --------------------------- RDD：弹性分布式数据集是...

2024-10-26 厉飞雨 阅读(35) 评论(0) 赞(4)

[#](#一-什么是kafka) （一）什么是Kafka {#一-什么是kafka} ------------------------------------------ Kafka是一个分布式的基于**发布/订阅模式**的消息队列，同时它又是一个分布式的事件流平台。既可作为消息队列，又可作为数据管道、流分析的应用。目前Kafka的最大应用还是消息队列。 市面上主流的消息队...

2024-10-26 厉飞雨 阅读(25) 评论(0) 赞(4)

[#](#一-概述) （一）概述 {#一-概述} ------------------------ SparkSQL可以理解为在原生的RDD上做的一层封装，通过SparkSQL可以在scala和java中写SQL语句，并将结果作为Dataset/DataFrame返回。简单来讲，SparkSQL可以让我们像写SQL一样去处理内存中的数据。 Dataset是一个数据的分布式集...