建站
咨询
售后
建站咨询
Hadoop部署之HBase(四)-创新互联
一、HBase是什么
- HBase是建立在Hadoop文件系统之上的分布式面向列的数据库。它是一个开源项目，是横向扩展的。
- HBase是一个数据模型，类似于谷歌的大表设计，可以提供快速随机访问海量结构化数据。它利用了Hadoop的文件系统（HDFS）提供的容错能力。
- 它是Hadoop的生态系统，提供对数据的随机实时读/写访问，是Hadoop文件系统的一部分。
- 人们可以直接或通过HBase的存储HDFS数据。使用HBase在HDFS读取消费/随机访问数据。 HBase在Hadoop的文件系统之上，并提供了读写访问。
HBase 和 HDFS
| HDFS | HBase |
|---|---|
| HDFS是适于存储大容量文件的分布式文件系统。 | HBase是建立在HDFS之上的数据库。 |
| HDFS不支持快速单独记录查找。 | HBase提供在较大的表快速查找 |
| 它提供了高延迟批量处理;没有批处理概念。 | 它提供了数十亿条记录低延迟访问单个行记录（随机存取）。 |
| 它提供的数据只能顺序访问。 | HBase内部使用哈希表和提供随机接入，并且其存储索引，可将在HDFS文件中的数据进行快速查找。 |
HBase的存储机制
HBase是一个面向列的数据库，在表中它由行排序。表模式定义只能列族，也就是键值对。一个表有多个列族以及每一个列族可以有任意数量的列。后续列的值连续地存储在磁盘上。表中的每个单元格值都具有时间戳。总之，在一个HBase：
创新互联建站是一家集网站建设,新郑企业网站建设,新郑品牌网站建设,网站定制,新郑网站建设报价,网络营销,网络优化,新郑网站推广为一体的创新建站企业，帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿，时刻以成就客户成长自我，坚持不断学习、思考、沉淀、净化自己，让我们为更多的企业打造出实用型网站。- 表是行的集合。
- 行是列族的集合。
- 列族是列的集合。
- 列是键值对的集合。
二、HBase 集群部署
1、下载安装
# 下载安装包
wget http://archive.apache.org/dist/hbase/1.2.6/hbase-1.2.6-bin.tar.gz
# 解压安装包
tar xf hbase-1.2.6-bin.tar.gz
mv hbase-1.2.6 /usr/local/hbase
# 创建目录
mkdir -p /home/hbase/{log,pid,tmp}2、配置 HBase 环境变量
编辑文件/etc/profile.d/hbase.sh。
# HBASE ENV
export HBASE_HOME=/usr/local/hbase
export PATH=$PATH:$HBASE_HOME/bin使HADOOP环境变量生效
source /etc/profile.d/hbase.sh三、HBase 配置(namenode01)
1、配置 hbase-env.sh
编辑文件/usr/local/hbase/conf/hbase-env.sh，修改如下信息。
export JAVA_HOME=/usr/java/default
export HBASE_CLASSPATH=/usr/local/hadoop/etc/hadoop
export HBASE_LOG_DIR=/home/hbase/log
export HBASE_PID_DIR=/home/hbase/pid
export HBASE_MANAGES_ZK=false2、配置region服务器 regionservers
编辑文件/usr/local/hbase/conf/regionservers，修改为如下。
datanode01
datanode02
datanode033、配置列式存储 hbase-site.xml
编辑文件/usr/local/hbase/conf/hbase-site.xml，修改为如下。
hbase.rootdir
hdfs://namenode01:9000/hbase
hbase.tmp.dir
/home/hbase/tmp
hbase.cluster.distributed
true
hbase.master.port
60000
hbase.master.info.port
60010
hbase.regionserver.port
60020
hbase.regionserver.info.port
60030
hbase.zookeeper.property.clientPort
2181
zookeeper.session.timeout
120000
hbase.zookeeper.quorum
zk01:2181,zk02:2181,zk03:2181
hbase.zookeeper.property.maxClientCnxns
300
4、将配置文件复制到其他节点
cd /usr/local/hbase/conf
scp * datanode01:/usr/local/hbase/conf
scp * datanode02:/usr/local/hbase/conf
scp * datanode03:/usr/local/hbase/conf四、HBase 启动
1、在namenode01执行
start-hbase.sh2、检查 HBase
[root@namenode01 conf]# jps
14512 NameNode
14786 ResourceManager
15204 HMaster
15405 Jps
[root@datanode01 ~]# jps
3509 DataNode
3621 NodeManager
3238 HRegionServer
1097 QuorumPeerMain
3839 Jps
[root@datanode02 ~]# jps
3668 Jps
3048 HRegionServer
3322 DataNode
3434 NodeManager
1101 QuorumPeerMain
[root@datanode03 ~]# jps
3922 DataNode
4034 NodeManager
4235 Jps
1102 QuorumPeerMain
3614 HRegionServer3、HBase 的 WEB 界面
访问 http://192.168.1.200:60010/master-status
访问 http://192.168.1.201:60030/rs-status
4、进入 hbase shell 验证
[root@namenode01 ~]# hbase shell
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/local/hbase/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/local/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
HBase Shell; enter 'help' for list of supported commands.
Type "exit" to leave the HBase Shell
Version 1.2.6, rUnknown, Mon May 29 02:25:32 CDT 2017
hbase(main):001:0> list
table
0 row(s) in 0.2210 seconds
=> []
hbase(main):002:0> status
1 active master, 0 backup masters, 3 servers, 0 dead, 0.6667 average load 另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
名称栏目：Hadoop部署之HBase(四)-创新互联
本文网址：http://scgulin.cn/article/cejicg.html
