Hbase集群搭建的配置.docx

《Hbase集群搭建的配置.docx》由会员分享，可在线阅读，更多相关《Hbase集群搭建的配置.docx（1页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、Hbase集群搭建的配置参考1 . 如果主机足够强大（10台小集群），可以将Hadoop JobTracker、NameNode Secondary NameNode配置在这台机器上，但Secondary NameNode尽量不要。2 .如果Hbase和MapReduce的负载都很重的话，通常将他们分开到两个集群上。3 . 小集群（10 台机器左右）可以把 HBase Master、Hadoop NameNode、JobTracker 并行部 署在一个节点上，ZooKeeper也可以装在这个节点上（46核CPU, 2432G内存，4块 SATA硬盘）。4 .如果集群更大一些（1020台），可以

2、将NameNode和JobTracker配置在同一台机器上， 但HBase Master和ZooKeeper配置在另一台机器上，但Zookeeper要一个单独的磁盘。5 .中型集群（50台左右）NameNode和JobTracker应该部署到不同的机器上，NameNode 和Secondary NameNode不能用太次的硬件，（应为它一挂掉，全挂）并确保他们有足 够的内存。但HBase Master和ZooKeeper还可以在一台机器上，也可以增加HBase Master 和ZooKe叩er的数量。6 .大型集群（超过50台）中NameNode和Secondary NameNode很重要，要

3、用双电源、 RAID 1、好一点的网卡、足够的内存（8核，至少16G内存，1Gb网卡）。HBase Master和 ZooKeeper要5个以上。7 .中型集群中，如果可能，可以将HBase Master配置在单独的一台机器上。（46核，816G 内存，两块硬盘，一块系统，一块日志，1Gb网卡）。8 . DataNode和RegionServer总部署在一起，最好不要让他们运行MapReduce（812核， 2432G内存，12块1TB硬盘）。9 . ZooKeeper可以和HBase Master配置在一起，她们都是轻量级进程。但ZooKeeper对延 迟更加敏感，所以耍有单独的硬盘。10 .部署软件可以用自动化的软件：Cloudera Manager Puppet Chef等。建议用Hadoop 专业的 Cloudera Manager。11 .更多的冗余和更好的配置是为了增加其可用性。