blog网站建设人工智能培训心得
一、下载安装
-
进入 HBase 下载地址：https://archive.apache.org/dist/hbase/
-
下载对应版本的 HBase 安装包并上传到虚拟机，并确保安装了 jdk 环境
-
将 HBase 安装包解压
#在 /opt/software 目录下解压安装包 tar -zxvf hbase-1.3.1-bin.tar.gz -C /opt/module # 改名 cd /opt/module mv hbase-1.3.1-bin.tar.gz hbase
-
修改配置文件
-
修改 hbase-env.sh
cd /opt/module/hbase/conf vim hbase-env.sh# 修改 Java 环境变量 export JAVA_HOME=/opt/module/jdk #注释掉 jdk1.7 的警告信息 # 排除内置zk export HBASE_MANAGES_ZK=false -
修改 hbase-site.xml (默认的 hbase-default.xml)
cd /opt/module/hbase/conf vim hbase-site.xml<configuration><property><name>hbase.rootdir</name><value>hdfs://hadoop102:9000/HBase</value></property><property><name>hbase.cluster.distributed</name><value>true</value></property><!-- 0.98 后的新变动，之前版本没有.port,默认端口为 60000,web端口 16010 --><property><name>hbase.master.port</name><value>16000</value></property><property> <name>hbase.zookeeper.quorum</name><value>hadoop102,hadoop103,hadoop104</value> </property><property> <name>hbase.zookeeper.property.dataDir</name><value>/opt/module/zookeeper-3.4.10/zkData</value></property> </configuration> -
修改 regionservers
cd /opt/module/hbase/conf vim regionservers#添加 hadoop102 hadoop103 hadoop104
-
-
软连接 hadoop 配置文件到 HBase
ln -s /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml /opt/module/hbase/conf/coresite.xmlln -s /opt/module/hadoop-2.7.2/etc/hadoop/hdfs-site.xml /opt/module/hbase/conf/hdfssite.xml -
分发 hbase 安装目录到集群其他节点
二、HBase 集群启动停止
-
启动 Zookeeper 集群
-
启动 Hadoop 集群
-
启动 HBase 集群
-
方式一：单节点启动停止
#hadoop102 cd /opt/module hbase/bin/hbase-daemon.sh start/stop master hbase/bin/hbase-daemon.sh start/stop regionserver#hadoop103 和 104 cd /opt/module hbase/bin/hbase-daemon.sh start/stop regionserver#提示:如果集群之间的节点时间不同步，会导致regionserver无法启动，抛出ClockOutOfSyncException 异常-
时间不同步修复：
-
Linux 同步时间服务
-
在
hbase-site.xml中将hbase.master.maxclockskew属性设置更大的值(不建议)<property><name>hbase.master.maxclockskew</name><value>180000</value><description>Time difference of regionserver from master</description> </property>
-
-
-
方式二：群起群停
#在哪个节点执行则该节点就是 master cd /opt/module hbase/bin/start-hbase.sh hbase/bin/stop-hbase.sh
-
-
查看 HBase：
http://hadoop102:16010
三、HBase 的命令行操作
1. 基本操作
# 进入 HBase 客户端命令行
cd /opt/module/hbase
bin/hbase shell# 查看帮助命令
hbase(main):001:0> help
2. 命名空间的操作
# 查看所有命名空间
list_namespace# 创建命名空间：create_namespace 'nsname'
create_namespace 'bigdata'# 删除命名空间：drop_namespace 'nsname'
# 删除命名空间之前需要清空命名空间所有表
drop_namespace 'bigdata'
3. 表的操作
# 查看所有表
list# 创建表：create 'nsname:tbname','colFamily1'[,'colFamily2'...]
# 省略 nsname 则默认在 default 命名空间下
create 'bigdata:student','info'# 查看表结构：describe 'tbname'
describe 'student'# 变更表信息：alter 'tbname',{KEY=>VALUE,...}
# 设置info列族中的数据存放3个版本：
alter 'student',{NAME=>'info',VERSIONS=>3}# 删除表：drop 'tbname'
# 删除表之前需要禁用表：disable 'tbname'
disable 'student'
drop 'student'# 插入数据到表：put 'tbname','row_key','colFamily:col','value'[,ts,{...}]
put 'student','1001','info:sex','male'
put 'student','1001','info:age','18'
put 'student','1002','info:name','Janna'
put 'student','1002','info:sex','female'
put 'student','1002','info:age','20'# 扫描查看表数据：scan 'tbname'[,...]
scan 'student'
scan 'student',{STARTROW => '1001', STOPROW => '1001'}
scan 'student',{STARTROW => '1001'}
scan 'student',{RAW => true, VERSIONS => 10} #查看所有版本的数据# 查看“指定行”或“指定列族:列”的数据：get 'tbname','row_key'[,'cf:col1',{...}]
get 'student','1001'
get 'student','1001','info:name'
get 'student','1001',{COLUMN=>'info:name',VERSIONS=>3} #获取列存储的所有版本数据# 修改指定字段的数据：put 'tbname','row_key','cf:col','newValue'
put 'student','1001','info:name','Nick'
put 'student','1001','info:age','100'# 删除数据：
# 删除某 rowkey 的全部数据：deleteall 'tbname','row_key'
deleteall 'student','1001' # 标记为 deleteFamily# 删除某 rowkey 的某一列数据：delete 'tbname','row_key','cf:col'[,ts]
delete 'student','1002','info:sex' # 标记为 deleteColumn
delete 'student','1002','info' # 执行不报错，但没效果(使用API方式则可以)# 统计表数据行数：count 'tbname'
count 'student'# 清空表数据：truncate ’tbname'
# 提示：清空表的操作顺序为先 disable，然后再 truncate
truncate 'student'