线下营销_门户网站的三个基本特征_网站seo策划方案_网站优化要多少钱

1 下载并安装

1.1 Hadoop安装

参考另一篇博客：Hadoop 部署

1.2 安装包下载

可通过下面网站下载：

官网：https://dlcdn.apache.org/hive/。
清华源：https://mirrors.tuna.tsinghua.edu.cn/apache/hive/。

比如下载apache-hive-4.0.1-bin.tar.gz，将其上传到服务器上。

1.3 安装

解压安装包：

tar -zxvf apache-hive-4.0.1-bin.tar.gz -C /opt/hive/

1.4 配置文件

在conf目录下需要存在hive-site.xml文件，可以创建或复制hive-default.xml.template。

创建

touch conf/hive-site.xml

并添加内容：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><!-- Hive默认在HDFS的工作目录 --><property><name>hive.metastore.warehouse.dir</name><value>/user/hive/warehouse</value></property>
</configuration>

复制hive-default.xml.template

cp conf/hive-default.xml.template conf/hive-site.xml

2 元数据库

元数据可以存储在Derby（安装包中自带的）或MySQL中，推荐使用MySQL。

2.1 Derby

直接初始化就可以：

bin/schematool -dbType derby -initSchema

在Hive目录下看到生成metastore_db就是成功了。

2.2 MySQL

2.2.1 Mysql安装

如果安装了Mariadb，可以先将其卸载，以防止和MySql产生冲突。
可以使用在线安装：

sudo apt-get install mysql-server-8.0

关于MySQL部署与配置这里不做详细说明。

2.2.2 驱动

将驱动jar包复制到Hive根目录下的lib文件夹中。下载驱动jar包，有以下方式：

官网：https://downloads.mysql.com/archives/c-j/。下载后解压缩，只要jar包即可。
Maven仓库：https://mvnrepository.com/artifact/com.mysql/mysql-connector-j。

2.2.3 配置

在conf文件夹下的hive-site.xml文件的<configuration>...</configuration>中添加以下内容：

<!-- jdbc连接的URL -->
<property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://node1:3306/metastore?createDatabaseIfNotExist=true</value>
</property>
<!-- jdbc连接的Driver-->
<property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value>
</property>
<!-- jdbc连接的username-->
<property><name>javax.jdo.option.ConnectionUserName</name><value>cluster</value>
</property>
<!-- jdbc连接的password -->
<property><name>javax.jdo.option.ConnectionPassword</name><value>123456</value>
</property>

2.2.4 初始化

bin/schematool -dbType mysql -initSchema

3 HiveServer2 配置

HiveServer2是Apache Hive的服务器端组件，提供远程SQL查询和交互式数据分析的支持。它通过Thrift服务和JDBC/ODBC接口，允许用户从多种客户端工具访问Hive数据仓库。

3.1 Hadoop配置

HiveServer2提供用户模拟功能，使得它能够模拟客户端用户的身份去访问Hadoop集群。这一功能依赖于Hadoop的代理用户（proxy user）机制。在配置HiveServer2时，需要将其启动用户设置为Hadoop的代理用户，并在Hadoop的配置文件core-site.xml的<configuration>...</configuration>中添加相应的代理用户配置：

<!-- 配置Hadoop代理用户cluster可以代理的主机 -->
<property><name>hadoop.proxyuser.cluster.hosts</name><value>*</value> <!-- * 表示所有主机 -->
</property>
<!-- 配置Hadoop代理用户cluster可以代理的主机 -->
<property><name>hadoop.proxyuser.cluster.hosts</name><value>*</value> <!-- * 表示所有主机 -->
</property>
<!-- 配置Hadoop代理用户cluster可以代理的用户 -->
<property><name>hadoop.proxyuser.cluster.users</name><value>*</value> <!-- * 表示所有用户 -->
</property>

当用户在客户端提交SQL语句时，HiveServer2会模拟该用户的身份去请求HDFS或者提交计算任务到Yarn上，然后将结果返回给客户端。这一功能确保了用户权限的隔离，使得每个用户只能访问自己有权限的数据，从而提高了数据的安全性。

3.2 Hive 配置