纯净、安全、绿色的下载网站

首页

当前位置:首页IT学院IT技术

HBASE-使用问题-split region

life_start   2021-05-08 我要评论

问题描述:

   HBASE表的管理以REGION分区为核心,通常面临如下几个问题:

1) 数据如何存储到指定的region分区,即rowkey设计,region splitkey设计

2)设计的splitkey是否可以解决热点问题

3)设计的splitkey是否可以解决均匀分布,避免自动分裂的问题

4)region的创建和删除问题

对于1)问题  比如:对于按照时间存储的数据,region splitkey 可以是2019,2020 ;  201901,201902;20190101 等等类似方式,可以把指定时间段的数据存储到响应splitkey的region中,达到按照时间存储的效果。

对于2)问题,同一天的数据,可以通过对rowkey或者数据中的一个或多个字段取hash方式,解决热点问题;如果数据存在重复入库,则需要保证用于hash的字段值在两次入库时不能变更,否则会存在两个rowkey数据  即splitkey中包含hash值部分,同样要求rowkey包含hash值

对于3)问题,需要考虑数据量和region分区的关系,比如一天有150G的数据量,hbase 单个region建议10~20G大小,设计时则需要考虑一天需要划分多少的region,才能避免region在数据入库时发生频繁split,会影响hbase服务(split会涉及数据移动,数据通过网络传输和落盘,影响网络和磁盘IO)

对于4)问题,未来的region是否应该提前创建,如何创建?集群存储是否足够,历史的region是否下线或者删除?

此篇文章是在提前创建region分区时遇到的问题

 

一般的设计方法是,在hbase 尾部region切分新的多个region,用于新的数据存储,通常使用定时任务,提前创建

切分方式是通过调用HBASE  split  region方法,region尾部splitkey为 20210600 ~“”  需要切分的splitkey为20210601,20210602,20210603,20210700

采用的方法是: 先20210601切分,得到如下两个region:  20210600 ~20210601, 20210601~“”  然后等待 20210601~“” 此region上线,再使用20210602切分

以此类推

但是在实际项目中发现,只切分了一个region就任务结束了,程序本身在等待新切分region上线时,可以等待1s~60秒中,发现此问题后,可以配置等待时长,

但是实际效果不好,仍会存在上述问题

1)  观察Hbase regionServer端日志,发现如下日志,debug日志显示待切分region对应的存储文件正在被引用使用,导致region split请求切分失败

 

 

 2)分析Hbase 源码:

 

 

 

 

 

 原因分析:hbase split请求调用的为异步请求,通过源码并结合hbase regionserver日志可以看出,hbase接收到split请求后,

如果发现需要被切分的region有引用文件时,就返回失败;因为时异步请求,所以程序等待新切分region上线不可行

即Hbase接收到请求后,由于存储文件被引用使用,导致请求失败,region未切分,索引新切分region不会上线,从而失败

修改后方法逻辑为:切分region,等待一段时间上线,不上线则再次切分region,以此多次,仍不成功,则等待下次定时任务触发切分

 

额外说明:

实际项目中被切分region如果里面有大量数据,切分速度会很快,但是对切分后的region再次切分时,文件引用有较长时间不会消失,无法再次切分

因此实际项目中考虑切分没有数据的尾部region为佳,此外重试切分的时间间隔建议可配置,以免region未及时切分,导致所有数据存入到尾部一个region中

 


相关文章

猜您喜欢

  • JDBC知识点总结 JDBC的扩展知识点总结

    想了解JDBC的扩展知识点总结的相关内容吗,GaryLea在本文为您仔细讲解JDBC知识点总结的相关知识和一些Code实例,欢迎阅读和指正,我们先划重点:JDBC知识点总结,java,JDBC的使用,下面大家一起来学习吧。..
  • JS的二进制家族 浅谈JS的二进制家族

    想了解浅谈JS的二进制家族的相关内容吗,外婆的在本文为您仔细讲解JS的二进制家族的相关知识和一些Code实例,欢迎阅读和指正,我们先划重点:JS,二进制,JS,Blob,ArrayBuffer,Buffer,下面大家一起来学习吧。..

网友评论

Copyright 2022 版权所有 软件发布

声明:所有软件和文章来自软件开发商或者作者 如有异议 请与本站联系 联系我们