2024-09-05 厉飞雨 阅读(67) 评论(0) 赞(3)

业务侧无法正常入库解决方法 1.登录对应HBase UI查看是否有RIT积压 2库HBase UI：http://10.162.xxx:60010/master-status 4库HBaseUI：http://10.162.xxx:60010/master-status ![](http://static.51tbox.com/static/2024-08-29/col...

2024-09-05 厉飞雨 阅读(58) 评论(0) 赞(5)

HBase 故障报告 故障现象描述 3 月 29 号廊坊 XXX 机房 ZZXX 集群备库 35 台主机断电搬迁，未通知平台测进行节点下线，导致 hdfs 丢失大量的数据块，主库无法提供正常服务。系统现状 3 月 31 日 16 点 30 开始，逐步恢复业务查询，4 月 2 日，业务全部恢复正常。 影响范围 ZZXX 产品所有对外数据查询业务提供。 故障恢复时间...

2024-09-05 厉飞雨 阅读(73) 评论(0) 赞(8)

Hive 与 HBase 的区别 #### 一、使用方面的区别 Hive 1)Hive 是一个构建在 Hadoop 平台上的数据仓库。 2)Hive 数据存放在 HDFS 之上。 3)Hive 数据查询最终被转化为 MapReduce。 HBase 1)HBase 是一个基于 HDFS 平台的 NoSQL 数据库。 2)HBase 数据存储在 HDF...

2024-09-05 厉飞雨 阅读(106) 评论(0) 赞(6)

二者的对比大致如下： ES和Hbase的写入都是基于LSM树结构，写入性能应该是相当的，不过ES在写入时需要做更多的事情（比如分词构建倒排索引，构建DocValues，进行字段类型的校验，且主副本都需构建索引等），所以ES消耗的CPU是比较高的，但如果只是满足Hbase相关的查询场景，有些东西也是可以通过配置省去的。 在查询场景中，ES能同时支持...

2024-09-05 厉飞雨 阅读(63) 评论(0) 赞(4)

1）减少调整 减少调整这个如何理解呢？HBase 中有几个内容会动态调整，如 region（分区）、HFile， 所以通过一些方法来减少这些会带来 I/O 开销的调整 Region 如果没有预建分区的话，那么随着 region 中条数的增加，region 会进行分裂，这将增加 I/O 开销，所以解决方法就是根据你的 RowKey 设计来进行预建分区，减少 re...

2024-09-05 厉飞雨 阅读(64) 评论(0) 赞(7)

1.频繁刷写 Region 的一个列族对应一个 MemStore，假设 HBase 表都有统一的 1 个列族配置，则每个 Region 只包含一个 MemStore。通常 HBase 的一个 MemStore 默认大小为 128 MB，见参数 [hbase](https://51tbox.com/ "View all posts in hbase"...

2024-09-05 厉飞雨 阅读(60) 评论(0) 赞(6)

#### 一、介绍一下 [hbase](https://51tbox.com/ "View all posts in hbase") 过滤器。 一般来说调整表设计就可以优化访问模式。但是有时已经把表设计调整得尽可能好了，为不 同访问模式优化得尽可能好了。当仍然需要减少返回客户端的数据时，这就是考虑使用过滤 器的时候了。 过滤器也被称为下推判断器（pu...

2024-09-05 厉飞雨 阅读(97) 评论(0) 赞(7)

1- 创建脚本文件  选择 "应用程序" ![](http://static.51tbox.com/st...

2024-09-05 厉飞雨 阅读(108) 评论(0) 赞(7)

MAC VMWare Fusion网络设置方法 ``` /Library/Preferences/VMware Fusion/vmnet8 ``` ![](http://static.51tbox.com/static/2024-08-29/col/81f6982c435cf1dc077086c4969afb43/635ed70841c94c24bbbedbcfe821...

2024-09-05 厉飞雨 阅读(88) 评论(0) 赞(8)

升级Ruby的版本-mac CocoaPods目前安装需要Ruby的版本大于2.2.2,不然会报错：Error installing pods: activesupport requires Ruby version \>= 2.2.2。目前Mac系统默认自带是2.0，所以需要升级。 * 查看当前ruby版本 * ruby -v 获取rvm列表，...