impala drop删除表注意问题

最新推荐文章于 2023-08-07 09:43:43 发布
原创 最新推荐文章于 2023-08-07 09:43:43 发布 · 4k 阅读 · 3 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
收录于
大数据技术

当前文章被收录于：

大数据技术
44 篇文章 8 人学习

学习、工作中大数据技术相关总结分享

订阅专栏 查看详情
在使用Impala进行drop表操作后，即使新建同名表并插入数据，旧数据仍存在。此现象源于drop操作仅删除映射关系，未清除HDFS上文件。正确处理需配置HDFS回收站，确保数据彻底删除。

背景

在使用impala drop表然后新建该表再插入数据时，发现以前的数据还在里面。
drop和create过程都没有报错。。。

实际分析发现，drop表后再select报错，报表不存在，但实际应该是删除了映射关系，但是hdfs上的文件并没有删掉，然后新建表后，再插入数据，数据又写入到了以前的文件里，造成该现象。

处理方案

impala 在执行 drop table 操作时，需要把文件移到到 hdfs 的回收站，所以需要创建一个hdfs的目录 /user/impala，并将其设置为impala 用户可写。

hadoop fs -mkdir -p /user/impala
hadoop fs -chown impala /user/impala
标签
#impala #drop #hdfs
Impala中删除某些数据
Talentdeyang的博客
07-21 3728
Impala中删除某些数据
Impala drop问题
RessCris的博客
10-27 739
impala drop 命令删表，再往里面插入数据的时候原来的数据还在。 可以先在hive里面删，然后运行命令 INVALIDATE METADATA表名; 就可以了。
Impala的操作命令
互联网知识分享
08-07 2355
的操作命令章节的详细介绍，包括数据库操作、表操作、数据加载和导出、数据查询、数据分析函数、数据修改、数据删除、数据类型转换、数据统计、数据分组、数据排序、数据连接、数据聚合、数据窗口函数、数据分区、数据备份和恢复以及性能优化等方面的内容。column1, column2, ...：要查询的列名。column1, column2, ...：要查询的列名。column1, column2, ...：要查询的列名。column1, column2, ...：要查询的列名。
HIVE/IMPALA 按条件或按分区删除数据
DBMS_OUTPUT666的博客
07-05 3149
alter table 表名 drop if exists partition(etl_dt=cast('2023-12-31' as varchar(90)));具体语法：insert overwrite table 表名 select * from 表名 where 需要保留的数据;impala按条件删除数据不支持delete，而是重写覆盖的形式来达成删除的目的。注：where 后可以使用<>或者 not in 来筛选需要删除的数据。
Impala的使用
凉茶铺的博客
10-26 3048
介绍了Impala如何使用sql语句
Impala sql语法
依旧的博客
12-10 1万+
一、数据库特定语句 1、创建数据库 CREATE DATABASE语句用于在Impala中创建新数据库。 CREATE DATABASE IF NOT EXISTS database_name; 这里，IF NOT EXISTS是一个可选的子句。如果我们使用此子句，则只有在没有具有相同名称的现有数据库时，才会创建具有给定名称的数据库。 impala默认使用impala用户执行操作，会...
Apache Impala table表操作
大数据流浪法师的学习笔记与分享
12-10 1363
Impala create table语句 CREATE TABLE语句用于在Impala中的所需数据库中创建新表。 需要指定表名字并定义其列和每列的数据类型。 impala支持的数据类型和hive类似，除了sql类型外，还支持java类型。 create table IF NOT EXISTS database_name.table_name ( column1 data_type, ...
Apache Impala：Impala sql语法
12-10 5430
数据库特定语句 创建数据库 CREATE DATABASE语句用于在Impala中创建新数据库。 CREATE DATABASE IF NOT EXISTS database_name; 这里，IF NOT EXISTS是一个可选的子句。如果我们使用此子句，则只有在没有具有相同名称的现有数据库时，才会创建具有给定名称的数据库。 impala默认使用impala用户执行操作，会报权限不足问题，解决...
Apache Impala sql语法
最慢的步伐不是跬步，而是徘徊；最快的脚步不是冲刺，而是坚持
12-11 8044
一 数据库特定语句 CREATE DATABASE 语句用于在Impala中创建新数据库。 CREATE DATABASE IF NOT EXISTS database_name; 这里，IF NOT EXISTS是一个可选的子句。如果我们使用此子句，则只有在没有具有相同名称的现有数据库时，才会创建具有给定名称的数据库。 impala默认使用impala用户执行操作，会报权...
Impala配置与错误解决方案
热门推荐
Dino系我的专栏
05-07 3万+
impala 安装 impala配置问题
客快物流大数据项目（七十二）：Impala sql 语法
Lansonli（蓝深李）的博客
07-29 1345
Impala中的limit子句用于将结果集的行数限制为所需的数，即查询的结果集不包含超过指定限制的记录。这里，column1，column2，...columnN是要插入数据的表中的列的名称。还可以添加值而不指定列名，但是，需要确保值的顺序与表中的列的顺序相同。您也可以使用DROPTABLE命令删除一个完整的表，但它会从数据库中删除完整的表结构，如果您希望存储一些数据，您将需要重新创建此表。如果查询太复杂，我们可以为复杂部分定义别名，并使用Impala的with子句将它们包含在查询中。...
Impala-shell命令参数
散步的博客
04-29 4209
impala-shell外部命令： 所谓的外部命令指的是不需要进入到impala-shell交互命令行当中即可执行的命令参数。impala-shell后面执行的时候可以带很多参数。你可以在启动 impala-shell 时设置，用于修改命令执行环境。 impala-shell –h可以帮助我们查看帮助手册。也可以参考课程附件资料。 比如几个常见的： impala-shell –r刷新imp...
Impala 实现在指定位置添加列（转载）
zy103118的博客
11-11 2335
Impala 实现在指定位置添加列 今天在数据脱敏的工作中碰到一个需求： 将数据仓库中的用户画像的phone字段以及该字段下的数据全部删除 1. 错误示范：impala里面直接删除该列 ALTER TABLE name DROP [COLUMN] column_name 如 ALTER TABLE dmr.edu_user_profile DROP COLUMN user_p...
Impala SQL 使用小记
a45691316的博客
09-11 402
Impala SQL 使用小记 1. impala端创建的表，DROP。 hive会自动同步到。 但是通过hive DROP时，数据还会在，只是表的元数据没有了。 所以完全DROP表，需要impala端的DROP 2. impala 不支持 多个count...
第1节 IMPALA：10、基本查询语法；11、数据加载的4种方式
dengmanzhou3124的博客
07-06 566
9.3、 创建数据库表 创建student表 CREATE TABLE IF NOT EXISTS mydb1.student (name STRING, age INT, contact INT ); 创建employ表 create table employee (Id INT, name STRING, age INT,address STRING, salar...
impala + kudu一些优化心得
Allenzyg的博客
07-07 962
用了几次impala + kudu做大数据实时计算场景，这里分享经验 一开始需要全量导入kudu，这时候我们先用sqoop把关系数据库数据导入临时表，再用impala从临时表导入kudu目标表 由于sqoop从关系型数据直接以parquet格式导入hive会有问题，这里默认hive的表都是text格式；每次导完到临时表，需要做invalidate metadata 表操作，不然后面直接导入kudu的时候会查不到数据 为什么不直接使用sqoop把数据抽到kudu表，而是要中转一下到hive 因为sq
Impala的命令COMPUTE STATS
禧年
01-24 1526
COMPUTE STATS主要作用： 收集有关表中数据的容量和分布以及所有相关列和分区的信息。这些信息存储在metastore数据库中，Impala使用这些信息来帮助优化查询。例如，如果Impala可以确定一个表是大是小，或者有很多或很少不同的值，它就可以为一个连接查询或插入操作适当地组织并行化工作。 语法： COMPUTE STATS [db_name.]table_name COMPUTE INCREMENTAL STATS [db_name.]table_name [PARTITION (partit
impala优化 COMPUTE STATS 与COMPUTE INCREMENTAL STATS
张不帅
08-09 4712
计算统计声明 COMPUTE STATS语句收集有关表以及所有关联的列和分区中的数据量和分布的信息。该信息存储在metastore数据库中，并由Impala用于帮助优化查询。例如，如果Impala可以确定表是大是小，或者具有许多或很少的不同值，则它可以适当地组织和并行化工作以进行联接查询或插入操作。有关此语句收集的各种信息的详细信息，请 参见表和列统计信息。 句法： COMPUTE STATS [db_name.]table_name [ ( column_list ) ] [TABLESAMPLE SY
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值