日常小笔记
背景:
使用ALTER TABLE chtable_c1 delete where id<15; 删除数据后。
再插入相同的数据就会出现有如下情况
原来的数据

插入语句和再次查看数据

日志中的问题提现:
2019.09.09 22:17:07.014152 [ 47 ] {5444152b-f8a2-4092-8076-58e5d4462ca8} <Debug> executeQuery: (from 172.20.44.13:58310) insert into chtable_c1 values
2019.09.09 22:17:07.026205 [ 47 ] {5444152b-f8a2-4092-8076-58e5d4462ca8} <Debug> db.chtable_c1 (Replicated OutputStream): Wrote block with ID '201912_15429777648785638502_11816576347281729008', 1 rows
2019.09.09 22:17:07.030457 [ 47 ] {5444152b-f8a2-4092-8076-58e5d4462ca8} <Information> db.chtable_c1 (Replicated OutputStream): Block with ID 201912_15429777648785638502_11816576347281729008 already exists; ignoring it.

大概意思是说已经有一个一模一样的数据块了。
另外ck没有事务概念,但是为了保证重复插入的insert的幂等性,会检测重复,如果重复则跳过。
如果想不跳过可以SET insert_deduplicate=0

详细说明参见
https://github.com/yandex/ClickHouse/issues/3526
摘要:
不建议关掉这个重复检查,因为这事唯一的幂等性检测,另外重复的数据块是以批次为单位的,如果同一批次和第二批次是一模一样的,通常情况下就不会产生删除了再插入的情况。
本文探讨了ClickHouse数据库在删除数据后重新插入相同数据时的处理机制,特别是在关闭重复检查的情况下。ClickHouse通过检测重复数据块来确保插入操作的幂等性,即使在没有事务概念的情况下也能避免重复数据。
1774

被折叠的 条评论
为什么被折叠?



