2024-10-26 厉飞雨 阅读(47) 评论(0) 赞(3)

[#](#一-概述) （一）概述 {#一-概述} ------------------------ Spark计算框架封装了三种主要的数据结构：RDD（弹性分布式数据集）、累加器（分布式共享只写变量）、广播变量（分布式共享支只读变量） [#](#二-rdd) （二）RDD {#二-rdd} --------------------------- RDD：弹性分布式数据集是...

2024-10-26 厉飞雨 阅读(26) 评论(0) 赞(4)

[#](#一-概述) （一）概述 {#一-概述} ------------------------ SparkSQL可以理解为在原生的RDD上做的一层封装，通过SparkSQL可以在scala和java中写SQL语句，并将结果作为Dataset/DataFrame返回。简单来讲，SparkSQL可以让我们像写SQL一样去处理内存中的数据。 Dataset是一个数据的分布式集...

2024-10-26 厉飞雨 阅读(31) 评论(0) 赞(3)

[#](#概述) 概述 {#概述} ----------------- 事情的起因要从最近的一个新产品说起，最近部门有一个新的大数据产品规划，在考虑技术实现时，有一个动态表字段扩展的需求，比如原来表结构里只有a、b字段，需要不断的往里新增c、d、e等等字段，并且数据量也特别大。 于是就去寻找实现方案，针对这种数据模型无法确定的情况，非关系型数据库是比较合适的，于是找到了Mo...

2024-10-24 厉飞雨 阅读(36) 评论(0) 赞(4)

[#](#一-概述) （一）概述 {#一-概述} ------------------------ 在考研的时候，我有一门专业课是数据库，因此当时我对数据库的基础知识掌握的还算比较扎实，上周我再翻开当时考研时翻了无数遍的数据库书籍的时候，发现好多内容都忘掉了。刚好也决定开始写数据库相关的文章，就有了下面的内容。 [#](#二-基本概念) （二）基本概念 {#二-基本概念} ...

2024-10-24 厉飞雨 阅读(45) 评论(0) 赞(5)

[#](#innodb中的页) InnoDB中的页 {#innodb中的页} -------------------------------------- InnoDB存储引擎基于页的方式存储在磁盘中，它将数据存储在页（Page）的概念上。一个页是 InnoDB 存储引擎中的最小存储单位，它包含了一定数量的数据行、索引节点和其他元数据。 InnoDB 存储引擎中的页包括了数...

2024-10-24 厉飞雨 阅读(34) 评论(0) 赞(5)

[#](#一-什么是分库分表) （一）什么是分库分表 {#一-什么是分库分表} --------------------------------------- 分库分表故名思意是将一张表拆分成多个表，可能是一个库中的分表，也可能是分库又分表。分库分表主要解决的问题是数据库的性能瓶颈问题。即使建立索引，当数据量超过一定值时，查询效率就注定会降下来。通过分库分表，可以将原本的大数...

2024-10-24 厉飞雨 阅读(44) 评论(0) 赞(3)

[#](#前言) 前言 {#前言} ----------------- 为了增加数据库的读能力，InnoDB设计了 Buffer Pool 缓冲池，将热点数据留在内存中，极大提高了数据库的读性能。除此之外，InnoDB还有一种叫做 Change Buffer的特性同样至关重要。 [#](#为什么需要-change-buffer) 为什么需要 Change Buffer {#...

2024-10-24 厉飞雨 阅读(43) 评论(0) 赞(5)

[#](#前言) 前言 {#前言} ----------------- 首先问大家一个问题，如果你上生产的代码在执行delete的时候跳过了where条件，或者执行update时忘记加where条件了，导致大量数据被删除或更新，你会如何处理？ 上面的这些问题可能会导致很多数据被错误的更新或删除，当遇到这种情况时，用开玩笑的说法来说只能删库跑路，而更应该学会的是如何将这些数据...

2024-10-24 厉飞雨 阅读(36) 评论(0) 赞(4)

[#](#一-概述) （一）概述 {#一-概述} ------------------------ 在日常使用各种app或者登陆网站的时候，基本都会看到短信验证码这个功能，实现短信验证码的方式有很多，这里给出基于SpringBoot和Redis的短信验证码实现方式。源码在文末 [#](#二-思路) （二）思路 {#二-思路} ------------------------...

2024-10-24 厉飞雨 阅读(39) 评论(0) 赞(5)

[#](#一-为什么要用nosql) （一）为什么要用Nosql {#一-为什么要用nosql} ------------------------------------------------ 如果你是计算机专业学生 ，那么一定使用过关系型数据库mysql。在请求量小的情况下，使用mysql不会有任何问题，但是一旦同时有成千上万个请求同时来访问系统时，就会出现卡顿甚至系统崩...