clickhouse 在客户端大量的开启事务,准备提交数据

在进行压力测试时遇到ClickHouse的并发查询限制问题,错误信息显示'Toomuchsimultaneousqueries'。通过修改配置文件/etc/clickhouse-server/config.xml,将`<max_concurrent_queries>`的值提高,可以缓解此问题。此外,优化提交策略,采用批量提交的方式,根据数据量定时或达到一定数量后自动提交,也能避免此类问题的发生。

开发板推荐:天空星STM32F407VET6开发板

超高性价比 STM32主控 | 超高主频 | 一板兼容百芯 | 比赛神器 | 沉金彩色丝印

现象:
  

昨天在ck 压力测试的时候,发现在同个链接中如果存在大量: 

以golang 代码为例

tx, err := conn.Begin()
if err != nil {
   log.Printf("Begin error: %s \n", err)
   return
}
var stmt, er = tx.Prepare(insertSql)
if er != nil {
   log.Printf("Prepare error: %s \n", err)
   return
}
defer stmt.Close()
for i := 0; i < times; i++ {
   #todo
 }

if err := tx.Commit(); err != nil {
   log.Printf("Commit error: %s \n", err)
}

clickhouse 报错:

Exception: Too much simultaneous queries. Maximum: 100

修改方法在clickhouse安装的服务器上/etc/clickhouse-server/config.xml:

 <max_concurrent_queries>100</max_concurrent_queries>

修改更高的值.

第二:

  上面的提交尽量以批量提交为主,可用修改未在规定事件内,如果有数据,未达到数据数量上线,则自动提交,如果达到数据数量上线则自动提交.从而避免这个问题.

开发板推荐:天空星STM32F407VET6开发板

超高性价比 STM32主控 | 超高主频 | 一板兼容百芯 | 比赛神器 | 沉金彩色丝印

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值