求助，用 Java api 怎样快速判断 hbase 里模糊匹配的 rowkey 是否存在
nthin0 · 2020-09-07 19:33:59 +08:00 · 2229 次点击这是一个创建于 1569 天前的主题，其中的信息可能已经有所发展或是发生改变。
- rowkey 的数量在几十万到百万左右
- 方案一：遍历生成所有的 rowkey，再用 table.existsAll(gets)可以判断 rowkey 是否存在，但是较慢
- 方案二：用 scan 可以模糊匹配 rowkey，但是会把所有的数据都查出来，还是比较慢。。
Scan scan = new Scan();
scan.setStartRow(Bytes.toBytes(startRow));
scan.setStopRow(Bytes.toBytes(stopRow));
-
有没有把两种效果结合起来的方法，模糊匹配 rowkey 是否存在，比如 rowkey 的格式是
12345$yyyyMMddHHmmss,67890$yyyyMMddHHmmss -
能通过传入 12345 就快速判断 hbase 中是否有 rowkey 以 12345 开头的数据
-
总之就是 快速 足够快 特别快
-
谢谢各位大佬了！！！
 |
1
nthin0 OP 没有大佬帮忙看一下吗~~
|
 |
2
yanshenxian 2020-09-07 23:13:07 +08:00
|
 |
3
thinkmore 2020-09-08 18:05:33 +08:00
@nthin0 可以使用 prefixFilter 试一试，比如
``` scan 'yourTable',{LIMIT=>10,FILTER=>"PrefixFilter('123456')"} ``` 或者 RowFilter ``` scan 'your_table',{FILTER=>"RowFilter(=,'substring:123456')"} ``` |
|
4
thinkmore 2020-09-08 18:09:16 +08:00  1
@nthin0 在我的 blog https://generalthink.github.io/2018/12/17/hbase-scan-command/ 中可以看到 scan 的更多命令
|
Select Language