您的位置:首页 > 文旅 > 美景 > 扬中炒地皮_企业展厅建筑_百度竞价排名收费_seo视频教程百度网盘

扬中炒地皮_企业展厅建筑_百度竞价排名收费_seo视频教程百度网盘

2024/12/23 12:13:14 来源:https://blog.csdn.net/cyhysr/article/details/144290639  浏览:    关键词:扬中炒地皮_企业展厅建筑_百度竞价排名收费_seo视频教程百度网盘
扬中炒地皮_企业展厅建筑_百度竞价排名收费_seo视频教程百度网盘

准备

包括软硬件环境、数据、测试数据三方面的准备内容。

环境

虚拟机软件virtualbox7,同样的虚拟机配置:内存2G、cpu一核,物理主机同一台macbookpro(13-2020款),所以硬盘IO读写速度一致。

综上:hive环境与oracle环境是同样的cpu、内存、硬盘、带宽配置。

数据

使用仓库、组织、物料、库存流水,进行响应测试,oracle使用dbeaver等将测试数据从外系统加载至测试环境,hive使用sqoop将测试数据从外系统加载至测试环境。

hive中,表名、列名是不区分大小写的,但库名区分大小写。oracle中,表名、列名、库名均不区分大小写。

测试数据的加载,按照oracle、hive的不同,分别采用不同的方式和工具进行处理。建表、导入数据并记录导入数据所消耗时间。

oracle加载数据统计表

序号

方式

数据量

耗时

1

T_OD_BD_STORDOC

dbeaver

65

0.67s

2

T_OD_ORG_ORGS

dbeaver

1042

15s

3

T_OD_BD_MATERIAL

sqlplus

42388

5m39s

4

T_OD_IC_FLOW

存储过程

193537

1m52s

备注:1、数据量超达到4万条,dbeaver客户端加载数据明显慢很多,受限于客户端工具(客户端工具是java所开,需要将sql文件在工具中打开),改为使用服务端加载。

2、ic_flow 无法使用sqlplus这种方式,因为其导出的insert批量文件,文件中的insert语句超过sqlplus最大输入范围,改为使用存储过程。

hive加载数据统计表

序号

方式

数据量

耗时

1

HT_OD_BD_STORDOC

sqoop

65

0.54s

2

HT_OD_ORG_ORGS

sqoop

1042

3.08s

3

HT_OD_BD_MATERIAL

sqoop

42388

3.49s

4

HT_OD_IC_FLOW

sqoop

193537

3.73s

测试数据

hive使用hplsql循环导入T_OD_IC_FLOW_10百万行、T_OD_IC_FLOW_100千万行数据时,系统报错,java虚拟机崩溃。最后计划使用T_OD_IC_FLOW中数据向T_OD_IC_FLOW_10手动加载10次,完成T_OD_IC_FLOW_10的数据导入,也不成功,遂放弃。

最终测试数据表统计如下。

表名

数据量

占用空间

oracle

hive

oracle

hive

T_OD_BD_STORDOC

HT_OD_BD_STORDOC

65

45

0.0625M

0.0183M

T_OD_ORG_ORGS

HT_OD_ORG_ORGS

1042

130

0.6875M

0.6168M

T_OD_BD_MATERIAL

HT_OD_BD_MATERIAL

42388

86

20M

19.62M

T_OD_IC_FLOW

HT_OD_IC_FLOW

193537

166

232M

208.77M

T_OD_IC_FLOW_10

HT_OD_IC_FLOW_10

1935370

166

2304M

T_OD_IC_FLOW_100

HT_OD_IC_FLOW_100

19353700

166

22733M

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com