Macos M1 IDEA本地调试 HBase 2.2.2

# 1. 前提

执行

mvn clean package assembly:single -DskipTests

没问题，并在hbase-assembly/target目录下生成hbase-2.2.2-bin.tar.gz 文件夹

证明Maven 下载依赖没问题

1.1 报错 1

这里应该是报错找不到

com.google.protobuf:protoc:exe:osx-aarch_64:3.5.1

可能存在问题的点是protocol 下载时，需要将总pom.xml文件和hbase-protocal（应该是）目录下的

          <configuration><protocArtifact>com.google.protobuf:protoc:${external.protobuf.version}:exe:osx-x86_64</protocArtifact><protoSourceRoot>${basedir}/src/main/protobuf/</protoSourceRoot><clearOutputDirectory>false</clearOutputDirectory><checkStaleness>true</checkStaleness></configuration>

位置的版本改成

:exe:osx-x86_64

因为protobuf 3.5.1 版本，没有支持M1芯片的版本

参考博客

## 1.2. 报错2

/Users/kturnura/Code/Source/hbase-2.2.2/hbase-common/src/main/java/org/apache/hadoop/hbase/util/Bytes.java:56:16
java: 程序包sun.misc不存在

修改项目Project Structure

需要将这两个位置的版本都改成Java 8

2. 启动HMaster

将 源码的conf目录移动到hbase-server项目目录下

将其标记为Resources Root 目录（此处博主已标记）

配置hbase-site.xml

    <property>
<!--        # 此配置用来存放HBase的数据目录，你不需要事先创建HBase目录，只用保证其父级目录存在。-->
<!--        # 当然，你也可以随意指定这个目录。--><name>hbase.rootdir</name><value>/Users/kturnura/Code/Source/hbase-2.2.2</value></property><property>
<!--        # 此配置是为了跳过版本检查--><name>hbase.defaults.for.version.skip</name><value>true</value></property>

主要是配置hbase.defaults.for.version.skip属性，否则会有一个报错

配置HMaster 启动

1. java8 模块

2. 选择hbase-server子项目

3. 配置HMaster 所在包位置

4. HMaster启动选项start

5. JVM参数

   1. 这个在这里

   外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

启动时，不需要在本地启动Zookeeper

启动时，不需要在本地启动Zookeeper

启动时，不需要在本地启动Zookeeper

启动成功，此处hbase的一些数据生成在了hbase-2.2.2目录下

3. Java API 连接HBase代替 HBase Shell

由于Hbase 2.2.2 的jruby 版本不支持 M1 芯片，详情请看

可以在编译后导入新的Jruby版本使用HBase Shell ，但源码调试比较麻烦

参考博客2

本文暂时使用HBaseUtils 来测试HMaster的连接

这里使用了一个很简单的HBaseUtils

package org.apache.hbase;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.filter.FilterList;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.hbase.util.Pair;import java.io.IOException;
import java.util.List;public class HBaseUtils {private static Connection connection;static {Configuration configuration = HBaseConfiguration.create();configuration.set("hbase.zookeeper.quorum", "localhost");configuration.set("hbase.zookeeper.property.clientPort","2181");try {connection = ConnectionFactory.createConnection(configuration);}catch (IOException e) {e.printStackTrace();}}/*** 创建Hbase表* @param tableName: 表名* @param columnFamilies : 列族的数组*/public static boolean createTable(String tableName, List<String> columnFamilies) {try {HBaseAdmin admin = (HBaseAdmin) connection.getAdmin();if (admin.tableExists(TableName.valueOf(tableName))) {return false;}TableDescriptorBuilder tableDescriptor = TableDescriptorBuilder.newBuilder(TableName.valueOf(tableName));columnFamilies.forEach(columnFamily -> {ColumnFamilyDescriptorBuilder cfDescriptorBuilder = ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes(columnFamily));cfDescriptorBuilder.setMaxVersions(1);ColumnFamilyDescriptor familyDescriptor = cfDescriptorBuilder.build();tableDescriptor.setColumnFamily(familyDescriptor);});admin.createTable(tableDescriptor.build());} catch (IOException e) {e.printStackTrace();}return true;}/*** 删除Hbase表* @param tableName: 要删除的表名*/public static boolean deleteTable(String tableName) {try {HBaseAdmin admin = (HBaseAdmin) connection.getAdmin();// 删除表前需要先禁用表admin.disableTable(TableName.valueOf(tableName));admin.deleteTable(TableName.valueOf(tableName));} catch (Exception e) {e.printStackTrace();}return true;}public static boolean isExist(String tableName) {try {HBaseAdmin admin = (HBaseAdmin) connection.getAdmin();if(!admin.tableExists(TableName.valueOf(tableName))){// 表不存在，创建表return false;}else {return true;}} catch (IOException e) {throw new RuntimeException(e);}}/*** 检索全表** @param tableName 表名*/public static ResultScanner getScanner(String tableName) {try {Table table = connection.getTable(TableName.valueOf(tableName));Scan scan = new Scan();return table.getScanner(scan);} catch (IOException e) {e.printStackTrace();}return null;}public static void main(String[] args) {String tableName = "RemoteSensing";// 新建表System.out.println("Test");List<String> columnFamilies = Arrays.asList("info", "data");boolean table = HBaseUtils.createTable(tableName, columnFamilies);System.out.println("表创建结果:" + table);}}

可以运行两次Main方法，看第一次是否创建成功，第二次是否创建失败