CentOS部署Hbase
发布日期:2021-06-30 15:41:11 浏览次数:3 分类:技术文章

本文共 2643 字,大约阅读时间需要 8 分钟。

 

 

文章目录

    • 下载安装
    • .启动测试

 


前言

 

本人大三大数据专业,上周​​​​​初学如何搭建hadoop环境。配置好了静态ip搭建完了hadoop分布式集群后,开始搭建Zookeeper软件,之后搭建hbase环境。在此领域本人有诸多不明确疑问,可能文章会有些许错误,望大家在评论区指正,本篇文章错误将会不断更正维护。

具体参考了

这位大佬的安装步骤。

一、Hbase是什么?

Hbase最早作为Hadoop的子项目存在,是一种面向列模式的Nosql数据库,底层的数据文件一般仍采用HDFS存储,但其文件结构和元数据等由自身维护。这里不作过多阐述,下面安装Hbase。

二、下载安装

1.镜像下载

本人用的是清华镜像下载的1.4.13版本

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/1.4.13/hbase-1.4.13-bin.tar.gz

由于Hbase可能与本虚拟机hadoop版本和JDK版本不兼容的问题,请选择适合自己hadoop和jdk版本的hbase版本。

(官网)

解压缩

tar zxvf hbase-1.4.13-bin.tar.gz

将目录移入local目录

mv hbase-1.4.13 /usr/local/

设置hbase中JAVA路径

vi /usr/local/hbase-1.4.13/conf/hbase-env.sh

修改

# export JAVA_HOME=/usr/java/jdk1.6.0/

为 

export JAVA_HOME=/usr/java/default

 

(具体看自己配置的jdk环境)

whereis java

which java (java执行路径)
echo $JAVA_HOME
echo $PATH

配置hbase环境设置

vi /usr/local/hbase-1.4.13/conf/hbase-site.xml

添加

<configuration>

    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://hadoop1:9000/hbase</value>
    </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>hadoop1,hadoop2,hadoop3</value>
    </property>
    <property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/usr/local/zookeeper-3.4.14</value>
    </property>
    <property>
        <name>hbase.master</name>
        <value>hadoop1:60000</value>
    </property>

     <property>

         <name>hbase.master.info.port</name>

         <value>60010</value>

     </property>

</configuration>

我自己zookeeper已经部署好了所以自己添加了zookeeper独立的环境变量

必须指出,上述代码中的60010是通过Web方式查看HBase系统状态的端口号。HBase 1.0以下版本不需要在hbase-site.xml文件中添加该端口号,用户就可以访问其Web页面。但是HBase-1.0以上版本则需要由用户自己添加

  • hbase.rootdir设置为HDFS的NameNode的位置。
  • 属性hbase.zookeeper.quorum:该属性的值会让HBase启动时在相应节点上运行ZooKeeper实例。

保存关闭后,修改regionservers组件

vi /usr/local/hbase-1.4.13/conf/regionservers

删掉默认的localhost

修改为

hadoop2

hadoop3

保存退出

  • 删掉localhost的原因是并不想在Hadoop的namenode上运行RegionServer。因为namenode上并不存储HDFS数据,运行RegionServer需要远程调用数据,同时也会加重namenode的负担。如果一定要在namenode上运行RegionServer,也应该把localhost换成相应的机器名,如master。因为HBase也可以通过在其他节点上运行start-hbase.sh脚本启动(这时会把输入命令的节点作为master节点),这时localhost指的是本机节点而不是namenode。

配置hbase路径

vi /etc/profile.d/hbase.sh

添加

export HBASE_HOME=/usr/local/hbase-1.4.13

export PATH=$HBASE_HOME/bin:$PATH
export HADOOP_CLASSPATH=$HBASE_HOME/lib/*

执行保存

source /etc/profile.d/hbase.sh

传入给其他节点

rsync -av /usr/local/hbase-1.4.13 hadoopxx:/usr/local/

rsync -av /etc/profile.d/hbase.sh hadoopxx:/etc/profile.d/

在其他节点上执行保存

source /etc/profile.d/hbase.sh

在主节点上开启hbase

/usr/local/hbase-1.4.13/bin/start-hbase.sh

2.启动测试

jps查看启动服务

如果主节点有Hmaster、HQuorumPeer、HRegionServer服务,从节点有HQuorumPeer、HRegionServer则安装完成


总结

可能启动Hbase之后Hmaster会开启一段时间后自动关闭,需要根据日志报的错误自行调配,之后我会发布关于配置hbase常见错误的一些解决方法,希望能帮到大家!

如果学到了或者用到了~~~求个赞吖~~

转载地址:https://jxnuxwt.blog.csdn.net/article/details/108722355 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:Hadoop主节点宕机第二节点补救
下一篇:CentOS6.7搭建Zookeeper

发表评论

最新留言

能坚持,总会有不一样的收获!
[***.219.124.196]2024年04月20日 05时52分07秒