51工具盒子
Hadoop 中通过拆分任务到多个节点运行来实现并行计算，但某些节点运行较慢会拖慢整个任务的运行，Hadoop 采用什么机制应对这个情况 #### Speculative Execution 推测执行 （1）推测执行(Speculative Execution)是指在分布式集群环境下，因为程序 BUG，负载不均衡或者资源分布不均等原因，造成同一个 job 的多个 task ...
什么是 Hadoop 分布式缓存 1）Hadoop 分布式缓存是 Map-Reduce 框架提供的用于缓存应用程序所需文件（文本文件、 存档文件、Jar 文件等）的工具。 2）当 MapReduce 处理大型数据集间的 join 操作时，此时如果一个数据集很大而另外一 个集合很小，以至于可以分发到集群中的每个节点之中。 这种情况下，我们就用到了 Hadoop ...
在微服务化的时代，分布式事务是一个重要的技术点，这篇文章我们将深入的分析分布式事务。 什么是事务？ {#什么是事务？} ================ 事务（Transaction）是数据库管理系统（DBMS）中用于确保数据一致性和可靠性的一组操作。 事务具有以下四个关键特性，通常称为 ACID特性： * **原子性（Atomicity）**：事务中的所有操作要么全部...
分布式系统的最大难点，就是**各个节点的状态如何保持一致** CAP理论是在设计分布式系统的过程中，处理数据一致性问题时必须考虑的理论。 C（一致性）、A（高可用）、P（分区容忍） 1. 一致性 读操作获取到最新的写结果 Consistency : Every read receives the most recent write or an error 2. 高可...
hdfs-site.xml (base) [root@up01 hadoop]# cat hdfs-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href...
hadoop 优化文件系统 Linux 文件系统推荐使用 EXT4 和 XFS 文件系统，相比较而言，更推荐后者，因为 XFS 已经帮我们做了大量的优化。 Linux 文件系统会记录文件创建、修改和访问操作的时间信息，这在读写操作频繁的应用中将带来不小的性能损失。在挂载文件系统时设置 noatime和 nodiratime 可禁止文件系统记录文件和目录的访问时间，这...
你好，我是猿java。 提到分布式算法，就不得不说 Paxos算法，曾在一段时间里，Paxos 几乎成了分布式共识的代名词，现如今很多流行的算法， 比如：ZAB，Raft 都是基于 Paxos 改进而来，这足以看出 Paxos的重要性。 但是，由于 Paxos算法比较晦涩难懂，令很多人望而却步。今天我们就来讨论这个为分布式共识算法奠定了基石的开山之作。 > 申明...
你好，我是猿java。 在 [分布式算法：Paxos 是如何达成共识的？](https://mp.weixin.qq.com/s?__biz=MzIwNDAyOTI2Nw==&mid=2247484028&idx=1&sn=18352e21e592211c1aff5469c7f58fb9&chksm=96c72e40a1b0a7562c388d...
Hello，Hi，你好，我是猿java。 今天我们分享的内容是：分布式系统的一致性有哪些？ 一致性问题的来源 {#一致性问题的来源} -------------------- 查阅了很多资料发现：最早研究一致性问题的场景不是分布式系而是计算机多处理器。 线性一致性 {#线性一致性} -------------- 线性一致性，也叫强一致性（Strong Consiste...
你好，我是**猿java** 最近，今天，我们一起来聊聊几种常见的分布式ID 生成的几种方式。 为什么需要分布式ID？ {#为什么需要分布式ID？} ========================== 在复杂的分布式系统中，常常需要一个全局唯一的 ID来标识数据，消息或者请求，比如：订单号，消息的唯一标识，接口的幂等ID 等等。 分布式 ID需要具备什么条件 {#分布...
