2024-09-05 厉飞雨 阅读(186) 评论(0) 赞(10)

hbase连接数过多造成库堵塞的解决方案 库现象：HBase 库节点正常，查看 web 页面一切正常，只有连接数变为 0， 思路： 注：连接数过多，造成服务器堵塞一般情况下有两个原因造成： 1，网络不正常 2，业务哪里有问题，调用了接口而没有释放 所以一般情况下遇到这种情况首先找业务排查，如果他那没有问题，在按照下面的方法修改配置文件...

2024-09-05 厉飞雨 阅读(193) 评论(0) 赞(10)

业务侧无法正常入库解决方法 1.登录对应HBase UI查看是否有RIT积压 2库HBase UI：http://10.162.xxx:60010/master-status 4库HBaseUI：http://10.162.xxx:60010/master-status ![](http://static.51tbox.com/static/2024-08-29/col...

2024-09-05 厉飞雨 阅读(174) 评论(0) 赞(10)

<p>HBase 故障报告</p> <p>故障现象描述<br /> 3 月 29 号廊坊 XXX 机房 ZZXX 集群备库 35 台主机断电搬迁，未通知平台测进行节点下线，导致 hdfs 丢失大量的数据块，主库无法提供正常服务。系统现状<br /> 3 月 31 日 16 点 30 开始，逐步恢复业务查询，4 月 2 ...

2024-09-05 厉飞雨 阅读(190) 评论(0) 赞(15)

<p>Hive 与 HBase 的区别</p> <h4>一、使用方面的区别</h4> <p>Hive<br /> 1)Hive 是一个构建在 Hadoop 平台上的数据仓库。<br /> 2)Hive 数据存放在 HDFS 之上。<br /> 3)Hive 数据查询最终被转化为 Ma...

2024-09-05 厉飞雨 阅读(281) 评论(0) 赞(13)

二者的对比大致如下： ES和Hbase的写入都是基于LSM树结构，写入性能应该是相当的，不过ES在写入时需要做更多的事情（比如分词构建倒排索引，构建DocValues，进行字段类型的校验，且主副本都需构建索引等），所以ES消耗的CPU是比较高的，但如果只是满足Hbase相关的查询场景，有些东西也是可以通过配置省去的。 在查询场景中，ES能同时支持...

2024-09-05 厉飞雨 阅读(160) 评论(0) 赞(11)

<p>1）减少调整</p> <p>减少调整这个如何理解呢？HBase 中有几个内容会动态调整，如 region（分区）、HFile，<br /> 所以通过一些方法来减少这些会带来 I/O 开销的调整<br /> Region<br /> 如果没有预建分区的话，那么随着 region 中条数的增加，regio...

2024-09-05 厉飞雨 阅读(169) 评论(0) 赞(14)

1.频繁刷写 Region 的一个列族对应一个 MemStore，假设 HBase 表都有统一的 1 个列族配置，则每个 Region 只包含一个 MemStore。通常 HBase 的一个 MemStore 默认大小为 128 MB，见参数 [hbase](https://51tbox.com/ "View all posts in hbase"...

2024-09-05 厉飞雨 阅读(183) 评论(0) 赞(12)

<h4>一、介绍一下 <a href="https://51tbox.com/" title="View all posts in hbase">hbase</a> 过滤器。</h4> <p>一般来说调整表设计就可以优化访问模式。但是有时已经把表设计调整得尽可能好了，为不<...