2024-09-05 厉飞雨 阅读(73) 评论(0) 赞(8)

Hive 与 HBase 的区别 #### 一、使用方面的区别 Hive 1)Hive 是一个构建在 Hadoop 平台上的数据仓库。 2)Hive 数据存放在 HDFS 之上。 3)Hive 数据查询最终被转化为 MapReduce。 HBase 1)HBase 是一个基于 HDFS 平台的 NoSQL 数据库。 2)HBase 数据存储在 HDF...

2024-09-05 厉飞雨 阅读(106) 评论(0) 赞(6)

二者的对比大致如下： ES和Hbase的写入都是基于LSM树结构，写入性能应该是相当的，不过ES在写入时需要做更多的事情（比如分词构建倒排索引，构建DocValues，进行字段类型的校验，且主副本都需构建索引等），所以ES消耗的CPU是比较高的，但如果只是满足Hbase相关的查询场景，有些东西也是可以通过配置省去的。 在查询场景中，ES能同时支持...

2024-09-05 厉飞雨 阅读(63) 评论(0) 赞(4)

1）减少调整 减少调整这个如何理解呢？HBase 中有几个内容会动态调整，如 region（分区）、HFile， 所以通过一些方法来减少这些会带来 I/O 开销的调整 Region 如果没有预建分区的话，那么随着 region 中条数的增加，region 会进行分裂，这将增加 I/O 开销，所以解决方法就是根据你的 RowKey 设计来进行预建分区，减少 re...

2024-09-05 厉飞雨 阅读(64) 评论(0) 赞(7)

1.频繁刷写 Region 的一个列族对应一个 MemStore，假设 HBase 表都有统一的 1 个列族配置，则每个 Region 只包含一个 MemStore。通常 HBase 的一个 MemStore 默认大小为 128 MB，见参数 [hbase](https://51tbox.com/ "View all posts in hbase"...

2024-09-05 厉飞雨 阅读(60) 评论(0) 赞(6)

#### 一、介绍一下 [hbase](https://51tbox.com/ "View all posts in hbase") 过滤器。 一般来说调整表设计就可以优化访问模式。但是有时已经把表设计调整得尽可能好了，为不 同访问模式优化得尽可能好了。当仍然需要减少返回客户端的数据时，这就是考虑使用过滤 器的时候了。 过滤器也被称为下推判断器（pu...

2024-09-05 厉飞雨 阅读(97) 评论(0) 赞(7)

1- 创建脚本文件  选择 "应用程序" ![](http://static.51tbox.com/st...

2024-09-05 厉飞雨 阅读(108) 评论(0) 赞(7)

MAC VMWare Fusion网络设置方法 ``` /Library/Preferences/VMware Fusion/vmnet8 ``` ![](http://static.51tbox.com/static/2024-08-29/col/81f6982c435cf1dc077086c4969afb43/635ed70841c94c24bbbedbcfe821...

2024-09-05 厉飞雨 阅读(88) 评论(0) 赞(8)

升级Ruby的版本-mac CocoaPods目前安装需要Ruby的版本大于2.2.2,不然会报错：Error installing pods: activesupport requires Ruby version \>= 2.2.2。目前Mac系统默认自带是2.0，所以需要升级。 * 查看当前ruby版本 * ruby -v 获取rvm列表，...

2024-09-05 厉飞雨 阅读(69) 评论(0) 赞(6)

MacOS现在默认的shell为zsh了，这里以配置node环境变量为例： 1. 打开 `~/.zshrc` 2. 输入如下内容 NODE_ENV=~/opt/node/bin export PATH=$NODE_ENV:$PATH source ~/.zshrc 如果只是输入：`export NODE_ENV=~/opt/node/bin`...

2024-09-05 厉飞雨 阅读(101) 评论(0) 赞(6)

Mac上一些操作需要系统权限，输入正确密码时，一般情况下设置命令就可以解决：sudo chmod -R 777 要修改文件上层目录的路径。 但是部分情况下除外，比如sudo 移动到文件到 /usr/bin 目录，或者sudo pip update等，仍然会失败，提示operation not permitted。 原因：mac电脑启用了SIP（System Integrit...