Spark数仓建表
- 1、Spark on Hive与Hive on Spark
- 2、Spark数仓建表相关问题
1、Spark on Hive与Hive on Spark
1.1、Hive on Spark
Hive默认使用MapReduce作为执行引擎，即Hive on MapReduce。实际上，Hive还可以使用Tez或Spark作为其执行引擎，分别为Hive on Tez和Hive on Spark
由于MapReduce的中间计算均需要写入磁盘，Spark则是存入内存，所以总体来讲，Spark比MapReduce效率高很多，因此，企业也较少使用MapReduce
Hive on Spark是Hive既作为存储又负责SQL的编译、解析和优化，Spark只负责执行。这里Hive的执行引擎换成了Spark，不再是MapReduce
1.2、Spark on Hive
Spark on Hive是Hive只作为存储角色，Spark负责SQL的编译、解析、优化和执行。这里可以理解为Spark通过SparkSQL使用Hive语法操作Hive表，底层运行的仍然是Spark RDD
具体步骤如下：
-
执行SparkSQL，加载Hive的配置文件，获取Hive的元数据信息
-
根据获取到的Hive元数据信息得到Hive表的数据
-
通过SparkSQL来操作Hive表的数据
也就是说，Spark使用Hive来提供表的Metadata信息
2、Spark数仓建表相关问题
前些天，在基于Spark数仓建表时，报了如下错误：
Can not create the managed table('db.table'). The associated location('hdfs://date/warehouse/tablespace/external/hive/db/table') already exists.
报错信息显示：不能创建管理表，外表已存在…
不得不说，这个报错还真有点奇怪…
事情的起因也很简单，由于我们使用的是Spark数仓，即Spark on Hive模式，相较于Hive，Spark建表默认为外（External）表，而Hive是管理（Managed）表
由于基于Spark on Hive，因此，Spark在获取Hive表的数据时会先去获取Hive的元数据信息，因此，Spark建表会先根据元数据信息校验管理表是否存在，如果已经存在一个相同的管理表，Spark建表则会报如上异常
解决的方案也很简单，删除已存在的不必要的管理表，然后重新建表；或者创建管理表不存在的Spark表即可
参考文章：
https://baijiahao.baidu.com/s?id=1757731374695957147&wfr=spider&for=pc