hive怎么把外部表的数据删了(面试官hive表有数据)
hive怎么把外部表的数据删了(面试官hive表有数据)
2024-11-06 07:03:06  作者:念个人  网址:https://m.xinb2b.cn/know/wkb372840.html

张工是一名程序员,做java开发的,有两年多开发经验,有次到一家软件公司应聘大数据开发岗位,面试官问了他这样一个问题。

hive表有数据,但为什么impala查询不到数据?

你能说说这是什么情况导致的,有什么办法解决方案吗?

对于这个问题,我们不妨来回顾下,什么情况下hive表有数据,但impala没有数据的情况。

1. 问题描述

用insert overwrite方式往hive写入的数据,数据写入成功了,在hive查询是可以查到数据的,但在impala刷新元数据后,查询却没有查到,刚开始以为是元数据刷新不成功,再用命令

invalidate metadatatable_namerefresh table_name

刷新成功后还是没有数据,返回结果为空。


2.问题追溯

往hive表写入数据sql里使用了union ,导致hdfs目录结构多了一层,本来数据是在分区第一层的,使用了union 后,数据存储到分区底下的文件夹了。

导致impala无法访问到具体数据。impala版本2.12,查看impala版本命令(impala-shell -v)

3.解决方案

在写入数据sql 后面加上 distribute by 表中字段 就可以了。

这是为什么呢,为什么加上distribute by 表中字段 就可以了。

我们知道,distribute 是分配、分布的意思,顾名思义,hive中(distribute by “表中字段”)关键字就是控制map输出结果的分发,相同字段的map输出会发到一个reduce节点去处理。

总结

hive表有数据,impala表没有数据,检查是否刷新元数据,操作命令:

invalidate metadata

refresh table_name。已经成功刷新元数据了,impala依然没有数据, 检查写入hive sql 是否使用union方式,如果是,在sql 后面加上(distribute by 表中字段 )。

拓展:

distribute by、sort by、cluster by

由于笔者知识及水平有限,文中错漏之处在所难免,欢迎交流。

  • 史上最全的家具尺寸和布局方案(厨房做了6年踩过坑)
  • 2024-11-06厨房做了6年踩过坑hello,我是小南,上一期我们了解了买厨房台面之前要做好功能,才不会踩坑,错过的朋友点后面的名字就可以进去了解——相信我,买厨房台面之前做足功课,绝对不翻车,厨房的细节很多,做不好就翻车,特别是关于。
  • 红枣要吃哪种好(关于红枣的真假传言)
  • 2024-11-06关于红枣的真假传言“一日三枣,百岁不显老”、“日食一枣,医生不找”,枣子好处多,能直接吃,能泡水,还能添加在各种料理中,也是日常进补的绝佳选择之一对于红枣,很多人都觉得能补血,事实真的如此吗?还有黑枣、蜜枣、椰枣……又。
  • 山寨为什么被骂(00后当街撕山寨的样子)
  • 2024-11-0600后当街撕山寨的样子穿汉服,不做发型,不戴头饰,不化妆,就是不尊重汉服的礼仪了吗?其实不仅是汉服,许多的衣服都讲究穿搭这一回事,特别是对女孩子来讲在汉服界,由于汉服是我国的传统民族文化,只要是跟传统文化有一点关系的东西,。
  • ps设计教程自学教程(使用Photoshop设计的方法与技巧)
  • 2024-11-06使用Photoshop设计的方法与技巧如何使用Photoshop设计:基础知识Photoshop可以使用的最基本的功能是调整图像大小和编辑图片调整图像大小很容易,但是编辑图像本身可能就是一整篇文章,具体取决于您在做什么我们将着重于基础知识。
  • 进阶版野马几秒破百(怎样才能制服这台6秒破百的野兽)
  • 2024-11-06怎样才能制服这台6秒破百的野兽电动汽车加速直接而猛烈,驾驶乐趣比起同价位燃油汽车往往要好上不少也正因为电动汽车动力表现突出,因此对轮胎在运动操控方面就提出了更高的要求因此我们安排了本次测试,选择了一款主打运动操控的轮胎——德国马牌。
  • 老式玉米面贴饼子做法(老式玉米面贴饼子怎么做)
  • 2024-11-06老式玉米面贴饼子怎么做主料:玉米面200克辅料:酵母粉3克、小苏打1克玉米面放入酵母粉混合加水,用筷子搅拌疙瘩抓捏成团盖保鲜膜发酵2个小时左右然后在发好的面团里加入少许小苏打抓捏均匀,做成一个个小圆饼摆入不粘锅,不放油,小。
  • 周冬雨马思纯电影七月与安生结局(周冬雨友情中的无界限)
  • 2024-11-06周冬雨友情中的无界限2016年的台湾金马奖影后产生了双黄蛋,被《七月与安生》的两位女主周冬雨和马思纯双双拿下,当时网上关于电影的评价,满屏都是豪赞安生的忍让和牺牲,怒撕七月的自私和心机于是,迫不及待打开电影,防火防盗防闺。
  • 轮胎品牌前十名有哪些品牌(轮胎品牌知多少)
  • 2024-11-06轮胎品牌知多少【万车网导购】今年,汽车圈里最热门的话题之一就要数锦湖轮胎事件了现在虽然几个月时间过去了,但这个话题还是不断的出现后续报道,这让我们不禁对轮胎产生了更多的关注以往大部分购车的消费者可能根本不会去过。
  • 吞食天地1全流程攻略大全(大家当年玩吞食天地1时)
  • 2024-11-06大家当年玩吞食天地1时不知道大家接触到的《吞食天地1》是日文版还是汉化过的?最初我接触的是日文版,但因为看不懂文字,不了解剧情,所以被剧情卡住永远过不去,在那个年代,没有攻略的情况下,能通关日文版《吞食天地1》的玩家,无疑。
  • 抗日老兵世纪对话(嘀嘀嗒嗒电码声)
  • 2024-11-06嘀嘀嗒嗒电码声惊悉抗战老兵张海潮老先生于今晨8.08驾鹤西逝,不胜感慨唏嘘!张老结缘于民革的活动和会议,至2008年5月我在双眼井巷开设“黄炳元委员工作室”后,张老去就诊、外岀,穿着大方得体,顺路过来坐坐谈谈才知道。
  • 蛇有毒的多还是没毒的多(毒蛇多还是没毒的蛇多)
  • 2024-11-06毒蛇多还是没毒的蛇多没毒的蛇要比有毒的蛇多,目前在世界上已知蛇的品种有2500多种,其中没有毒性的占1500多种,其他的都是有毒或者是微毒的蛇类没有毒的蛇统称为无毒蛇,像我们平时生活中见到的蛇大部分都是没有毒性的无毒蛇的。