hadoop hdfs-site.xml 相关配置说明
hdfs-site.xml (base) [root@up01 hadoop]# cat hdfs-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href...
hdfs-site.xml (base) [root@up01 hadoop]# cat hdfs-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href...
hadoop 优化文件系统 Linux 文件系统推荐使用 EXT4 和 XFS 文件系统,相比较而言,更推荐后者,因为 XFS 已经帮我们做了大量的优化。 Linux 文件系统会记录文件创建、修改和访问操作的时间信息,这在读写操作频繁的应用中将带来不小的性能损失。在挂载文件系统时设置 noatime和 nodiratime 可禁止文件系统记录文件和目录的访问时间,这...
你好,我是猿java。 提到分布式算法,就不得不说 Paxos算法,曾在一段时间里,Paxos 几乎成了分布式共识的代名词,现如今很多流行的算法, 比如:ZAB,Raft 都是基于 Paxos 改进而来,这足以看出 Paxos的重要性。 但是,由于 Paxos算法比较晦涩难懂,令很多人望而却步。今天我们就来讨论这个为分布式共识算法奠定了基石的开山之作。 > 申明...
你好,我是猿java。 在 [分布式算法:Paxos 是如何达成共识的?](https://mp.weixin.qq.com/s?__biz=MzIwNDAyOTI2Nw==&mid=2247484028&idx=1&sn=18352e21e592211c1aff5469c7f58fb9&chksm=96c72e40a1b0a7562c388d...
Hello,Hi,你好,我是猿java。 今天我们分享的内容是:分布式系统的一致性有哪些? 一致性问题的来源 {#一致性问题的来源} -------------------- 查阅了很多资料发现:最早研究一致性问题的场景不是分布式系而是计算机多处理器。 线性一致性 {#线性一致性} -------------- 线性一致性,也叫强一致性(Strong Consiste...
你好,我是**猿java** 最近,今天,我们一起来聊聊几种常见的分布式ID 生成的几种方式。 为什么需要分布式ID? {#为什么需要分布式ID?} ========================== 在复杂的分布式系统中,常常需要一个全局唯一的 ID来标识数据,消息或者请求,比如:订单号,消息的唯一标识,接口的幂等ID 等等。 分布式 ID需要具备什么条件 {#分布...
嗨,你好呀,我是猿java 在很多分布式系统中,我们经常看到它们使用心跳机制,为什么这么多的分布式系统使用心跳机制?心跳机制到底是什么?今天就来聊一聊。 什么是心跳机制? {#什么是心跳机制?} ==================== 在分布式系统中,心跳其实就是从一个组件发送到另一个组件的定期消息,用于交换数据或者健康状态,心跳可以是单向的,也可以是双向的。 单向心...
你好,我是猿java。 在分布式系统中,为了方便多个服务需要在网络上相互交互,我们需要一种机制使得这些服务能够有效地相互查找和通信,因此,本文我们将探讨一种常见的方案:服务发现。 什么是服务发现? {#什么是服务发现?} ==================== 服务发现是一种允许在分布式系统中自动检测和追踪网络中的各个服务实例,它主要解决的问题是服务的动态注册、查找和负...
你好,我是猿java。 随着互联网的快速发展,诸如云计算、微服务、开源工具和基于容器交付等技术,使得应用程序在日益复杂的环境中更加分散,因此,追踪请求在分布式系统中链路变得至关重要。 那么,分布式追踪究竟是什么?它是如何工作的呢?本文我们将深入进行研究。 什么是分布式追踪? {#什么是分布式追踪?} ====================== 分布式追踪(Distri...
你好,我是猿java。 Redis作为NoSQL的翘楚,为什么亚马逊还要推出DynamoDB数据库?今天我们就来聊聊DynamoDB是什么? DynamoDB是什么? {#DynamoDB是什么?} ---------------------------- 按照[Amazon的官方文档](https://aws.amazon.com/dynamodb/?nc1=h_ls)...