您的位置:首页 > 新闻 > 热点要闻 > Hive环境搭建(Mysql数据库)

Hive环境搭建(Mysql数据库)

2024/10/5 20:26:58 来源:https://blog.csdn.net/weixin_45422672/article/details/140746446  浏览:    关键词:Hive环境搭建(Mysql数据库)

【实验目的】

    1)   了解hive的作用

    2)   熟练hive的配置过程(Mysql数据库)

【实验原理】

    Hive工具中默认使用的是derby数据库,该数据库使用简单,操作灵活,但是存在一定的局限性,hive支持使用第三方数据库,例如mysql,通过配置可以把mysql集成到hive工具中,在实际的应用当中就比较方便,mysql功能更强大一些,社会中应用也广泛一些。

【实验环境】

    本次环境是:centos6.5 +Hadoop-2.4.1 +jdk1.7.0_79 + mysql

    工具包在/simple/soft目录下

    注:IP视情况而定

【实验步骤】

    一 、解压hive

        1.1 在linux系统下,首先执行cd /simple 命令进入simple目录下,然后把/simple/soft目录下的hive压缩包解压到/simple目录下,执行命令为:tar -zxvf  /simple/soft/hive-0.12.0.tar.gz。如图1所示

 

 1.2 执行完解压命令之后,可以通过执行命令:ls可以看到一个hive解压目录。如图2所示 

 

二 、配置hive

        2.1 解压完毕hive压缩包后,切换目录到/simple/hive-0.12.0目录并查看下面的文件列表。如图3所示

 

 2.2 在/simple/hive-0.12.0目录下执行命令:cd conf切换到conf目录并查看列表,执行命令:cp hive-env.sh.template hive-env.sh。如图4所示   

 

 

 

 2.3 在/simple/hive-0.12.0/conf目录下执行:vim hive-env.sh并编辑内容。如图5所示 

 

  2.4 在/simple/hive-0.12.0目录下执行命令:cd conf切换到conf目录并查看列表,执行命令:mv hive-default.xml.template hive-site.xml。如图6所示       

 

2.5 完成上一步操作之后,此时需要修改hive-site.xml文件的内容,`由于hive-site.xml中内容较多,我们需要在本地打开文件进行删除文件中的内容,单击桌面Computer->Filesystem->simple->hive-0.12.0->conf,右击hive-site.xml文件选择Open With gedit进行编译,删除<configuration></configuration>中所有内容,此操作会比较耗时`,操作完之后再终端执行命令:`vim hive-site.xml`之后并查看内容,注意:mysql url路径地址的ip地址根据本机情况进行修改。如图7,8所示 

 

 

 2.6 完成上一步之后,在目录$HIVE_HOME/bin下面,修改文件hive-config.sh,,增加以下内容:

             export JAVA_HOME=/simple/jdk1.7.0_79

             export HIVE_HOME=/simple/hive-0.12.0

             export HADOOP_HOME=/simple/hadoop-2.4.1。如图9,10所示         

 

 

 

 2.7 在命令终端任意目录下,执行命令:vim /etc/profile然后编辑内容,进行hive环境变量的配置。然后执行命令:source /etc/profile,让配置生效。如图11所示 

 

2.8 配置完环境变量之后,执行命令"start-all.sh"启动hadoop服务,然后在hive-0.12.0/bin目录下运行./hive,进入hive shell环境表示安装配置成功 。 如图12所示 

 

2.9 在测试的过程中有可能文件权限问题,对应目录主要有两个:

          1)hdfs://192.168.1.2:9000/tmp

          2)/tmp

          可以通过如下命令修改hdfs上的tmp和本地tmp文件夹权限的修改:

          hdfs dfs -mkdir /tmp

          hdfs dfs -chmod -R 777 /tmp  //hdfs上的文件权限

          chmod -R 777 /tmp //linux文件权限。 如图13所示 

 

 

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com