Hive 动态分区的使用
发布日期:2021-09-27 12:34:35 浏览次数:2 分类:技术文章

本文共 523 字,大约阅读时间需要 1 分钟。

1.开启hive动态分区

set hive.exec.dynamic.partition=true;

2.设置hive非严格模式

set hive.exec.dynamic.partition.mode=nonstrict;

默认是strict严格模式,至少要有一个静态分区。

3.创建目标表对应分区表

示例

将下表按照location进行分区

在这里插入图片描述
创建分区表

CREATE TABLE dept_par(deptno int,dname string)PARTITIONED BY (location string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

导入数据

INSERT INTO TABLE dept_par PARTITION(location) SELECT deptno,dname,loc FROM dept;

在这里插入图片描述

其他可选设置

设置最多可以创建多少分区

set hive.exec.max.dynamic.partitions=1000;
整个MR Job中,最多可以创建多少个HDFS文件
set hive.exec.max.created.files=100000;

转载地址:https://blog.csdn.net/FlatTiger/article/details/113922300 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:Flume使用之监听指定端口并打印到控制台
下一篇:Hive优化

发表评论

最新留言

逛到本站,mark一下
[***.202.152.39]2024年04月08日 07时11分12秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

推荐文章