Region的拆分与合并

本文详细介绍了HBase Region的拆分与合并,包括拆分与合并的目的,Region的自动拆分策略,手动拆分的多种方法,如Linux命令行、HBase命令行和指定拆分文件,以及Region的强制拆分。在合并部分,讲解了Minor和Major Compaction的区别,以及触发合并的三种情况。
摘要由CSDN通过智能技术生成

一、拆分与合并的目的
1.拆分
  • 当一个Region大到一定程度,或导致读取效率太低,所以会进行分裂
  • HBase可以通过Region Split达到负载均衡
  • Region的拆分分为自动拆分与手动拆分
2.合并
  • 当删除了大量的数据后,每一个Region都变小了,这时候再分多个Region就太浪费空间,可以将这些Region合并起来
  • 合并的主要目的不是为了性能考虑,而是出于维护的目的
二、Region拆分
1.自动拆分
  1. 在0.94版本之前,使用的拆分策略是.ConstantSizeRegionSplitPolicy,按照固定大小来拆分Region,即当Region的大小超过默认值(通常默认值是10G),Region就会被HBase拆分成两个Region,且是平均分配。
  2. 0.94版本之后,用到的拆分策略是 IncreasingToUpperBoundRegionSplitPolicy,即这种拆分方法是会随着Region个数变化而变化,比较灵活,具体的计算方法如下:
Math.min(tableRegionCounts ^3 * initalSize,defaultRegionMaxFileSize)
- tableRegionCounts:表在RegionServer上所有Region的总和
- initalSize:如果没有重新定义hbase.increasing.policy.initial.size,它的大小就是Memstore的2倍,也就是128*2M
- defaultRegionMaxFileSize:Region的最大大小,默认是10G

通过计算可以得出,当Region的个数分别为1,2,3时,文件大小的上限分别为256M,2G,6912M。当Region个数大于等于4个,文件大小已经超出10G,所以上限只能是10G

2.手动拆分
(1).Linux命令行创建
hbase org.apache.hadoop.hbase.util.RegionSplitter my_split_table2 HexStringSplit 
最低0.47元/天 解锁文章
HBase-9 Region拆分和和并
a3125504x的博客
07-05 360
Region的迁移和合并Region的迁移Region合并Region合并Region合并 Region的迁移 随着大合并的增多,一个region越来越大,造成数据的存储不平衡,访问速度也会变慢。 所以,当region达到一定大小(默认10G),region会先下线,一分为二,分为两个region,R1,R2. Hmaster会将R2迁移到其他的regionserver。底层的Hfile指向新的region2 更新元数据信息region1 region2到HBASE:meta表 Region的合
hbase 查询固定条数_Hbaseregion合并拆分
weixin_42407741的博客
12-01 398
1、region 拆分机制 region存储的是大量的rowkey数据 ,当region的数据条数过多的时候,直接影响查询效率.当region过大的时候.hbase拆分region , 这也是Hbase的一个优点 . HBaseregion split策略一共有以下几种: 1、ConstantSizeRegionSplitPolicy 0.94版本前默认切分策略 当region大小大于某个...
Region拆分合并
qq_38304320的博客
11-07 1561
我们都知道,Hbaseregion是表的一部分,当表比较大的时候,如果还是一个Region的话,会怎样呢?当我们读取数据的时候是不是效率比较低呢?因此,我们必须对Region进行合理拆分,这也是优化性能的一部分吧。 Region拆分分为两种自动拆分和手动拆分 1.自动拆分 1.1.ConstantSizeRegionSplitPolicy 顾名思义,不变大小region拆分策略,就是按照...
region拆分
JAVA_LuZiMaKei的博客
10-20 201
1.按大小拆分 2.按前缀拆分 3.按分隔符拆分 4.预分region 5.手动拆分
Region 合并(4)
初阳
04-19 1191
Region合并不是出于性能考虑的,而更多地的是出于维护的目的被创造出来的。 什么时候会用到合并? 比如删了大量的数据,每个Region都变小了,这个时候分成这么多个Region就有点浪费了,可以把Region合并起来,然后可以减少一些 RegionServer服务器来节省成本。 通过Merge类合并Region 合并通过使用org.apache.hadoop.hbase.util.Me...
Hbase Region的切分与合并【原理分析】
lyq7269的博客
07-21 2739
一、Region的切分 Region的自动切分 Region自动切分是HBase能够拥有良好扩张性的最重要因素之一,当然他也是分布式系统追求扩展性很好的功能。当一个Region大到一定程度,会进行分裂(split),HBase可以通过Region Split达到负载均衡。 自动切分的触发策略 自动切分的触发策略有很多种,在1.2.6版本应该有六种触发策略。但是我们经常用的最多三种。 ConstantSizeRegionSplitPolicy:0.94版本前默认切分策略 I ncreasingToUppe
Hbaseregion合并拆分
01-07
1、region 拆分机制 region存储的是大量的rowkey数据 ,当region的数据条数过多的时候,直接影响查询效率.当region过大的时候.hbase拆分region , 这也是Hbase的一个优点 . HBaseregion split策略一共有以下几...
HBase的架构、数据存储结构和进阶原理(读写流程、Flush、StoreFile合并、预分区、Region拆分合并)详解
weixin_43230682的博客
07-22 2338
目录 一、HBase架构 1、Client 2、Zookeeper 3、HMaster(类似NameNode) 4、HregionServer(类似DataNode) 5、HDFS 6、HRegion 7、Store 8、HFile 9、MemStore 10、WAL(Write-Ahead logs) 11、HBase Meta表 二、HBase数据结构 1、RowKey(行键) 2、Column Family(列族) 3、Cell(单元) 4、TimeStamp(时间戳
Hbase Region拆分合并
像风一样的男子
07-18 4280
Region拆分合并
HBase 管理(Region自动拆分,预拆分,强制拆分Region合并,HFile的合并)(四)
May_J_Oldhu的博客
01-07 2521
HBase 管理一.HBase管理1.Region管理1.1Region的自动拆分(1)ConstantSizeRegionSplitPolicy(2)IncreasingToUpperBoundRegionSplitPolicy(0.94 版本后默认)(3)KeyPrefixRegionSplitPolicy(4)DelimitedKeyPrefixRegionSplitPolicy(5)BusyRegionSplitPolicy(6)DisabledRegionSplitPolicy1.2Region
HBase--Region拆分策略
JinVijay的博客
02-09 1324
Region为什么要拆分?随着数据的增加,一个Region管理的数据条数越来越多,出现传统SQL数据库的单节点并发问题,将region拆分,将region移动均衡到其他的节点! 1.默认的拆分策略(大小) 当region的大小达到一定大小的时候会被拆分 IncreasingToUpperBoundRegionSplitPolicy split策略实现类 <property> <name>hbase.regionserver.region.split.policy&lt
HBaseRegion分裂和合并原理
lzf的博客
05-06 1330
Region分裂 当MemStore的数据超过阈值时,将数据溢写磁盘,生成一个StoreFile文件。当Region最大Store的大小超过阈值时,Region分裂,等分成两个Region,实现数据访问的负载均衡。新的Region的位置由HMaster来确定在哪个RegionServer。 下面是具体的细节: 1.当一个region里的StoreFile增长到大于配置的参数:hbase.hregion.max.filesize的大小,也可以在创建HBase表的时候指定这个参数,region会被一分
hbase5:region拆分详解
刚哥的大数据之路
08-18 781
针对region拆分: 1.某个region拆分 2.自动的拆分,随着数据的越来越多,单节点regionserver管理的数据很多,增加查询热点的概率 默认的拆分策略(大小) 计算公式为: Min{ 1^32128M 256M (当刚开始创建比较小只有一个region的时候256m就可以) 2^32128M 2G(当有两个region的时候) 3^32128M 6.75G(当有3个region的时候) 10G 10G } 3.预分region,建表的时候制定切分点 按照默认大小拆分
HBase读写原理与Region拆分合并
FYHannnnnn的博客
11-16 1422
一,HBase读写原理深入 HBase读流程 meta表位于的位置信息查看>>>> HBase写流程 首先从zk找到meta表的region位置,然后读取meta表的数据,meta表存储了用户表的region信息 根据namespace、表名和rowkey信息。找到写入数据对应的region信息 找到这个region对应的regionServer,然后发送请求 把数据分别写到HLog(write ahead log)和memstore各一份...
hbase集群负载均衡与高性能的关键——region分割与合并
热门推荐
宝罗Paul 的博客
06-04 1万+
第一部分、分割(split) split是切分、切割、分裂的意思,用来描述region的切分行为。 【与region有关的存储结构介绍】 hbaseRegion是一张表的子集,也就是说把一张表在水平方向上切割成若干个region。一张表一开始的时候只有一个region(区域),随着数据量的增长,会自动(或手动)切分出来越来越多的regionHBase针对表采用”Range分区”,把r...
hbase region拆分的三种方式
bigdata_player
04-15 5060
我们都知道,region在数据量大到一定程度的时候,会进行拆分(最开始由一个变成二个),而拆分的方式有三种,包括预拆分、自动拆分、手动强制拆分。下面就来介绍介绍拆分的方式。 预拆分拆分(pre-splitting)就是在建表的时候就定义好了拆分点的 算法,所以叫预拆分。 预拆分一部分的作用能减少rowkey热点,另外一部分能减轻region切分时...
HBase Region管理(拆分+合并+负载均衡)
因上努力,果上随缘。但行好事,莫问前程。
08-31 2077
每个 RegionServer 包含多个 Region,而每个 Region 又对应多个 Store,每一个 Store 对应表一个列族的存储,且每个 Store 由一个 MemStore 和多个 StoreFile 文件组成。StoreFile 在底层文件系统由 HFile 实现,也可以把 Store 看作由一个 MemStore 和多个 HFile 文件组成。...
HBaseRegion 拆分合并数据
最新发布
04-07
HBase的数据存储在Region,每个Region负责一段连续的key范围。当一个Region的数据量过大或者key范围过于分散时,需要进行Region拆分合并操作。 ## Region拆分 Region拆分可以将一个过大的Region分割成两个或多个相对较小的Region,以便更好地管理和利用硬件资源。 ### 触发条件 当一个Region的数据量超过了hbase.hregion.max.filesize(默认为1GB)或者key范围过于分散时,会触发Region拆分操作。 ### 操作过程 1. HBase会在Region拆分点(split point)处选择一个新的Region作为拆分后的Region之一,同时将原有Region的数据分配到拆分后的两个Region。 2. HBase会将拆分点及其前面的数据都分配给新的Region,将拆分点后面的数据留在原有的Region。 3. HBase会将拆分点及其前面的数据范围作为新Region的key范围,将原有Region的key范围修改为拆分点后面的数据范围。 ### 操作示例 假设有一个Region的key范围为[a,c),数据量为1.5GB,超过了hbase.hregion.max.filesize,需要进行拆分操作。 1. HBase会选择一个拆分点(split point),例如选择b作为拆分点。 2. HBase会创建一个新的Region,key范围为[b,c),同时将[a,b)范围内的数据分配给新的Region,将[c,∞)范围内的数据留在原有的Region。 3. HBase会将[a,b)范围作为原有Region的key范围,将[b,c)范围作为新Region的key范围。 ## Region合并 Region合并可以将相邻的两个Region合并为一个Region,以便更好地利用硬件资源。 ### 触发条件 当相邻的两个Region的数据总量小于hbase.hregion.max.filesize(默认为1GB)且key范围连续时,会触发Region合并操作。 ### 操作过程 1. HBase会选择相邻的两个Region进行合并,将它们的数据合并到一个新的Region。 2. HBase会将两个Region的key范围合并为一个key范围。 ### 操作示例 假设有两个相邻的Region,key范围分别为[a,b)和[b,c),数据总量小于hbase.hregion.max.filesize,需要进行合并操作。 1. HBase会将两个Region的数据合并到一个新的Region,key范围为[a,c)。 2. HBase会将两个Region的key范围合并为[a,c)。
写文章

热门文章

  • 使用shell脚本一键式解压压缩文件 4647
  • 最最最详细的Hadoop+HBase+Zookeeper+Hive完全分布式环境搭建教程 3786
  • mybatis实现简易图书管理系统 3396
  • 启动hadoop时异常:connect to host hadoop002 port 22: Connection refused 3312
  • Linux环境安装Mysql 3298

分类专栏

  • hadoop 4篇
  • hbase 4篇
  • hive 4篇
  • spark 1篇
  • streaming 1篇
  • kafka 1篇
  • flume 1篇
  • interceptor 1篇
  • RDD算子 1篇
  • shell 脚本 1篇
  • 一键配置hadoop 1篇
  • region 1篇
  • 合并 1篇
  • 拆分 1篇
  • 常用命令 1篇
  • phoenix 2篇
  • 集成 1篇
  • 架构 1篇
  • 工作原理 1篇
  • JAVA API 1篇
  • 基本概念解析 1篇
  • 常用函数 1篇
  • zeppelin环境搭建 1篇
  • 原理 1篇
  • 启动hadoop 1篇
  • Connection refused 1篇
  • 集群搭建 2篇
  • mapreduce 1篇
  • wordcount 1篇
  • shell命令 1篇
  • shell脚本 1篇
  • DataNode无法启动 1篇
  • elasticsearch 2篇
  • shell 2篇
  • Head-master 2篇
  • linux 1篇
  • mysql 1篇
  • mybatis 2篇
  • Linux环境安全mysql 1篇

最新评论

  • mybatis实现简易图书管理系统

    鹿林465: 能给一下完整的包吗

  • mybatis实现简易图书管理系统

    Daisy1520: 有没有没有前端,是控制台输出的源码呀

  • shell脚本一键配置hadoop

    m0_58637831: 要是能分享下 安装包 就更好了 表情包

  • 最最无语的异常:java.lang.NoClassDefFoundError: org/apache/kafka/common/errors/InvalidConfigurationException

    语兴数据: 这个问题就比较离谱了

  • Linux常用命令(增、删、改、查、赋权、解压)

    甜甜圈字: 大佬,可以转载吗?

最新文章

  • 最最无语的异常:java.lang.NoClassDefFoundError: org/apache/kafka/common/errors/InvalidConfigurationException
  • flume拦截器实现多channel传输
  • RDD常用转换算子和动作算子
2020年29篇

目录

目录

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值

玻璃钢生产厂家商城艺术玻璃钢雕塑厂家南通玻璃钢雕塑价格南昌商场美陈制作公司河北公园玻璃钢雕塑制作朝阳商场美陈装饰定做厂家辽宁大型玻璃钢雕塑四川商业商场美陈销售企业南宁玻璃钢艺术雕塑福建大型商场创意商业美陈经验玻璃钢蔬菜雕塑西宁玻璃钢蔬菜雕塑梁园玻璃钢雕塑厂家恩平玻璃钢雕塑厂家电话天津商场玻璃钢花盆河间玻璃钢花盆花器广场玻璃钢雕塑哪家设计得好玻璃钢花盆效果图片绍兴佛像玻璃钢雕塑玻璃钢雕塑设计价格便宜玻璃钢机器猫雕塑黄山个性化玻璃钢雕塑优势玻璃钢斑马雕塑效果图优惠的玻璃钢花盆重庆售楼部包装商场美陈公司吉林人物玻璃钢雕塑订做价格曲阳玻璃钢雕塑报价表潮州玻璃钢昆虫雕塑厂米奇玻璃钢雕塑宜昌广场玻璃钢雕塑公园玻璃钢公仔雕塑图片香港通过《维护国家安全条例》两大学生合买彩票中奖一人不认账让美丽中国“从细节出发”19岁小伙救下5人后溺亡 多方发声单亲妈妈陷入热恋 14岁儿子报警汪小菲曝离婚始末遭遇山火的松茸之乡雅江山火三名扑火人员牺牲系谣言何赛飞追着代拍打萧美琴窜访捷克 外交部回应卫健委通报少年有偿捐血浆16次猝死手机成瘾是影响睡眠质量重要因素高校汽车撞人致3死16伤 司机系学生315晚会后胖东来又人满为患了小米汽车超级工厂正式揭幕中国拥有亿元资产的家庭达13.3万户周杰伦一审败诉网易男孩8年未见母亲被告知被遗忘许家印被限制高消费饲养员用铁锨驱打大熊猫被辞退男子被猫抓伤后确诊“猫抓病”特朗普无法缴纳4.54亿美元罚金倪萍分享减重40斤方法联合利华开始重组张家界的山上“长”满了韩国人?张立群任西安交通大学校长杨倩无缘巴黎奥运“重生之我在北大当嫡校长”黑马情侣提车了专访95后高颜值猪保姆考生莫言也上北大硕士复试名单了网友洛杉矶偶遇贾玲专家建议不必谈骨泥色变沉迷短剧的人就像掉进了杀猪盘奥巴马现身唐宁街 黑色着装引猜测七年后宇文玥被薅头发捞上岸事业单位女子向同事水杯投不明物质凯特王妃现身!外出购物视频曝光河南驻马店通报西平中学跳楼事件王树国卸任西安交大校长 师生送别恒大被罚41.75亿到底怎么缴男子被流浪猫绊倒 投喂者赔24万房客欠租失踪 房东直发愁西双版纳热带植物园回应蜉蝣大爆发钱人豪晒法院裁定实锤抄袭外国人感慨凌晨的中国很安全胖东来员工每周单休无小长假白宫:哈马斯三号人物被杀测试车高速逃费 小米:已补缴老人退休金被冒领16年 金额超20万

玻璃钢生产厂家 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化