51工具盒子

2024-09-11 厉飞雨 阅读(267) 评论(0) 赞(7)

什么是 Hadoop 分布式缓存 1）Hadoop 分布式缓存是 Map-Reduce 框架提供的用于缓存应用程序所需文件（文本文件、 存档文件、Jar 文件等）的工具。 2）当 MapReduce 处理大型数据集间的 join 操作时，此时如果一个数据集很大而另外一 个集合很小，以至于可以分发到集群中的每个节点之中。 这种情况下，我们就用到了 Hadoop ...

2024-09-11 厉飞雨 阅读(202) 评论(0) 赞(11)

在微服务化的时代，分布式事务是一个重要的技术点，这篇文章我们将深入的分析分布式事务。 什么是事务？ {#什么是事务？} ================ 事务（Transaction）是数据库管理系统（DBMS）中用于确保数据一致性和可靠性的一组操作。 事务具有以下四个关键特性，通常称为 ACID特性： * **原子性（Atomicity）**：事务中的所有操作要么全部...

2024-09-11 厉飞雨 阅读(127) 评论(0) 赞(6)

<p>分布式系统的最大难点，就是<strong>各个节点的状态如何保持一致</strong></p> <p>CAP理论是在设计分布式系统的过程中，处理数据一致性问题时必须考虑的理论。</p> <p>C（一致性）、A（高可用）、P（分区容忍）</p> <ol> <li...

2024-09-11 厉飞雨 阅读(200) 评论(0) 赞(9)

hdfs-site.xml (base) [root@up01 hadoop]# cat hdfs-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href...

2024-09-11 厉飞雨 阅读(178) 评论(0) 赞(12)

hadoop 优化文件系统 Linux 文件系统推荐使用 EXT4 和 XFS 文件系统，相比较而言，更推荐后者，因为 XFS 已经帮我们做了大量的优化。 Linux 文件系统会记录文件创建、修改和访问操作的时间信息，这在读写操作频繁的应用中将带来不小的性能损失。在挂载文件系统时设置 noatime和 nodiratime 可禁止文件系统记录文件和目录的访问时间，这...

2024-09-11 厉飞雨 阅读(211) 评论(0) 赞(9)

<p>你好，我是猿java。</p> <p>提到分布式算法，就不得不说 Paxos算法，曾在一段时间里，Paxos 几乎成了分布式共识的代名词，现如今很多流行的算法，<br /> 比如：ZAB，Raft 都是基于 Paxos 改进而来，这足以看出 Paxos的重要性。<br /> 但是，由于 Paxos算法比较晦涩难懂...

2024-09-11 厉飞雨 阅读(140) 评论(0) 赞(8)

<p>你好，我是猿java。</p> <p>在 <a href="https://mp.weixin.qq.com/s?__biz=MzIwNDAyOTI2Nw==&amp;mid=2247484028&amp;idx=1&amp;sn=18352e21e592211c1aff5469c7f58fb9&...

2024-09-11 厉飞雨 阅读(138) 评论(0) 赞(7)

Hello，Hi，你好，我是猿java。 今天我们分享的内容是：分布式系统的一致性有哪些？ 一致性问题的来源 {#一致性问题的来源} -------------------- 查阅了很多资料发现：最早研究一致性问题的场景不是分布式系而是计算机多处理器。 线性一致性 {#线性一致性} -------------- 线性一致性，也叫强一致性（Strong Consiste...

2024-09-11 厉飞雨 阅读(193) 评论(0) 赞(8)

<p>你好，我是<strong>猿java</strong></p> <p>最近，今天，我们一起来聊聊几种常见的分布式ID 生成的几种方式。</p> <h1>为什么需要分布式ID？ {#为什么需要分布式ID？}</h1> <p>在复杂的分布式系统中，常常需要一个全局唯一的...

2024-09-11 厉飞雨 阅读(220) 评论(0) 赞(10)

<p>嗨，你好呀，我是猿java</p> <p>在很多分布式系统中，我们经常看到它们使用心跳机制，为什么这么多的分布式系统使用心跳机制？心跳机制到底是什么？今天就来聊一聊。</p> <h1>什么是心跳机制？ {#什么是心跳机制？}</h1> <p>在分布式系统中，心跳其实就是从一个组件发送到另一...