HBase运维碎碎念

最近开始看HBase,幸运的是,现在HBase社区已经非常的活跃,网络上可以找到大量的参考资料。但对于大集群的运维经验,还有待积累。上周在团队内部简单分享了一下这段时间的读书总结,现在把PPT放出来。

这个PPT只是个读书笔记,可能有些理解有误的地方,如果发现了,请一定要留下评论。



无觅相关文章插件,快速提升流量

10条评论

  • […] 原文链接:http://www.ningoo.net/html/2011/hbase_operation_tips.html […]

    • At 2011.07.01 22:13, Anty said:

      对于cache这段描述是有问题的,显然对bigtable的底层存储没有搞清楚。
      查询时,是将memestore和文件的数据都读取出来,然后merge。如果读取文件时hit到cache,就不需要从磁盘读取文件。
      而不是你说的,当数据在memstore中读取不到时,就会从这个cache里获取,当从此cache中获取不到时,就需要读取文件。

      不过PPT总结的还可以:-) mark。

      ——–
      hfile.block.cache.size

      默认0.2,全局公用的hfile的cache,最多占用MaxHeap的20%。当数据在memstore中读取不到时,就会从这个cache里获取,当从此cache中获取不到时,就需要读取文件。当cache的block达到了这个值的85%时,即会启动evict(日志中会出现“Block cache LRU eviction”),将cache清除到75%大小,可通过日志中的“LRU Stats: ”来观察cache的命中率

      • At 2011.07.05 08:31, 论文达人 said:

        南粤论文网提供论文,论文发表,代写代发论文,毕业论文,论文范文网,论文格式,论文写作指导等服务,帮你走上论文网快车。www.nylw.net

        • At 2011.07.12 18:31, NinGoo said:

          谢谢指正,之前的表述不够准确,实际上和你说的意思应该差不多。因为对region来说,新的记录都是在memstore中的,那么如果请求的rowkey都已经在memstore存在,则应该是不需要去请求文件了,这一块我还没有去看代码确认,不过从设计上应该是合理的,否则去读文件也是返回为空了对吧。如果请求的rowkey在memstore中不存在,才需要去去文件中请求后merge吧,这是如果开启了block cache,那么会先去都block cache,不命中才会去最终读文件。merge应该是需要merge的时候才merge,且应该是优先请求内存,再文件,假如弱化到单条rowkey查询的话,这样做效率应该更好。有时间我去看看代码验证下。。。

          • At 2011.11.14 10:28, NOSQL said:

            总结的非常好, 不过对scan的逻辑楼主可以看看HBase的代码, 不能从新旧的角度去看memstore和storefile, 应该从range的角度去看, memstore和storefile有可能有range重叠,也可能memstore的KeyValue从range的角度来说比storefile还要老,所以scan的时候,逻辑应该是memstore和storefiles都要扫描, 然后对扫描结果进行比较合并,block cache是为了让storefiles的访问命中率. 所以memstore和storefile的扫描没有因果关系.

          • At 2011.07.23 20:52, Beyonce lace front wigs said:

            Hbase是适合现代web站点的数据库?豆瓣用什么数据库呢?

            • At 2011.09.11 21:02, 雅库男装 said:

              快中秋了 博客更新慢了哦

              • At 2011.10.16 01:05, 《大江大海1949》的回忆与反思 said:

                龙应台2009年出版的《大江大海一九四九》一书在台、港和海外的华人社会引起强烈反响。

                《大江大海一九四九》意象复杂,场面宏大:从1949年200万大陆人渡海迁台,再到二战时期的德、俄战场和南太平洋战场;从“白色恐怖”对“外省人”的残酷迫害,到“本省人”对“祖国军”的期盼和失望,再到“亚细亚孤儿”的悲情。全书有家有国,以个人和家族的变迁,来折射时代和国家的大势走向对个人命运的影响。以人文的、人道的史观,穿透被宏大话语总结、归纳的历史,从中还原一条条鲜活的生命,寻求其中的意义和价值,这是《大江大海一九四九》一书的基本特点。很少见到两岸的历史学家有如龙应台这样,将自己的研究与人性关切如此紧密地联系在一起。

                当然,曾做过台湾文化部长的龙应台在书中叙述并非如我们想象的坦荡磊落,作者叙述的面很广,从国内到国外,从大事件到小个人,看似场面很宏大,却在很多关键事件有意闪躲,显得有些外强中干。

                自古历史的失败者多以人道、关怀博取世人的眼泪,在失意中逃避,自怨自艾,自我安慰。我常常看到台湾人在公开场合都喜欢宣扬个人权利至上、尊重每个个体哪怕最微小的权利,可是事实上,大家都知道台商的老板是最抠门的,加班一般不给加班费。

                本书中对国共内战的回忆大过于反思,也反映了台湾人盘踞一隅的自卑所带来缺陷,读过之后总觉得有点酸酸的。

                你可以尝试读一下。

                《大江大海1949》阅读地址:http://wenyifans.com/novel-view-1.html

                • At 2011.10.30 14:28, 女鞋品牌大全 said:

                  学习了支持一下哟!!!!!

                  • […] HBase运维碎碎念(尤其最后的参考文献): http://www.slideshare.net/NinGoo/hbase-8433555 […]


                    (Required)
                    (Required, will not be published)