ClickHouse 3节点集群部署与分布式表实战

最新推荐文章于 2026-04-04 09:54:55 发布

原创

最新推荐文章于 2026-04-04 09:54:55 发布 · 993 阅读

文章标签：

#ClickHouse #集群部署 #分布式表 #数据库运维

1. 集群部署前的准备：理解核心概念与架构

如果你之前只用过单机版的ClickHouse，可能会觉得集群部署听起来有点复杂。别担心，我刚开始接触的时候也这么觉得，但实际操作下来，你会发现它的设计其实非常清晰。简单来说，ClickHouse集群就是把多台服务器组合起来，让它们像一个整体一样工作，共同存储和处理海量数据。这样做的好处显而易见：数据容量可以水平扩展，查询性能可以成倍提升，而且通过副本机制还能实现高可用性，即使某台机器挂了，数据也不会丢，服务也不会停。

在我们这个3节点的实战场景里，核心是理解三个关键角色：分片（Shard）、副本（Replica）和协调者（ClickHouse Keeper）。你可以把“分片”想象成切蛋糕，一个巨大的数据集被水平切分成几块，分别存放在不同的服务器上。比如你有100亿条用户日志，可以按用户ID的哈希值分成2份，分别放在节点1和节点2。这样查询时，两个节点可以并行工作，速度自然就快了。

而“副本”就像是给每块蛋糕做的备份。在我们的配置中，每个分片目前只配置了1个副本（也就是数据本身）。如果配置了多个副本，那么同一份数据会在多个节点上存在拷贝，一个节点故障，另一个副本可以立刻顶上，保证了数据的安全性和服务的连续性。

那么，谁来管理这些分片和副本，确保数据同步、分布式查询能正确执行呢？这就是 ClickHouse Keeper 的工作。它相当于集群的“大脑”和“调度中心”，负责元数据存储、节点状态监控、分布式DDL（数据定义语言）的执行协调等。我们这次用3个节点来部署Keeper，是为了满足Raft共识算法的“多数派”要求，确保即使有一个Keeper节点宕机，集群依然能正常选举出Leader，维持协调服务不中断。这种设计在实际生产环境中能有效避免单点故障。

我建议你在动手之前，先在纸上画一下我们这次要搭建的架构图：两个节点（chnode1, chnode2）身兼双职，既作为数据存储和查询的ClickHouse Server，也作为协调集群的Keeper；第三个节点（chnode3）则专职担任Keeper，提供仲裁。这样，两个数据节点构成了一个拥有两个分片、每个分片一个副本的集群。理解了这个蓝图，后面的配置步骤就会清晰很多，你也能明白每个配置项到底在起什么作用。

2. 基础环境搭建与ClickHouse安装

万事开头难，但基础环境打好了，后面就顺了。我强烈建议你严格按照步骤来，尤其是主机名和网络配置，这里踩坑最耽误时间。我们有三台Ubuntu 22.04的服务器，IP分别是192.168.72.51、.52、.53。首先，登录每台机器，用hostnamectl命令给它们起个容易识别的名字，比如chnode1、chnode2、chnode3。这步很重要，因为后续所有配置都会依赖这些主机名，用IP虽然也行，但主机名更清晰，也不容易因IP变更而出错。

接着，编辑每台机器的/etc/hosts文件，把主机名和IP的映射关系写进去。这一步是确保集群内所有机器都能通过主机名互相找到对方。你可以用一个cat命令快速完成：

cat >> /etc/hosts <<EOF
192.168.72.51 chnode1
192.168.72.52 chnode2
192.168.72.53 chnode3
EOF

做完之后，记得在三台机器上互相ping一下主机名，比如在chnode1上ping chnode2，确保网络是通的。这些基础工作看似琐碎，但却是集群能正常通信的基石，我见过不少部署失败都是因为这里没配好。

接下来是安装ClickHouse。这里有个小细节需要注意：chnode1和chnode2需要安装完整的ClickHouse Server（包含Keeper功能），而chnode3只安装ClickHouse Keeper。这是因为我们想让chnode3作为一个纯净的协调节点，不承担数据存储的任务，这在生产环境中是推荐的做法，可以让协调服务更稳定。

在chnode1和chnode2上，执行下面的命令来添加官方仓库并安装：

sudo apt-get install -y apt-transport-https ca-certificates dirmngr
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 8919F6BD2B48D754
echo "deb https://packages.clickhouse.com/deb stable main" | sudo tee /etc/apt/sources.list.d/clickhouse.list
sudo apt-get update
sudo apt-get install -y clickhouse-server clickhouse-client

安装过程中，终端会提示你为默认用户default设置密码。这个密码一定要记好，后面连接客户端都要用到。我习惯用一个强密码，并且记录在安全的地方。

对于chnode3，我们只安装Keeper。命令类似，但安装包换成了clickhouse-keeper：

sudo apt-get install -y clickhouse-keeper

安装完成后，别急着启动服务。因为chnode3只装了Keeper，一些默认的目录可能没创建，我们需要手动创建并设置好权限：

sudo mkdir -p /etc/clickhouse-keeper/config.d
sudo mkdir -p /var/log/clickhouse-keeper
sudo mkdir -p /var/lib/clickhouse-keeper/coordination/{log,snapshots}
sudo mkdir -p /var/lib/clickhouse-keeper/cores
sudo chown -R clickhouse:clickhouse /etc/clickhouse-keeper /var/log/clickhouse-keeper /var/lib/clickhouse-keeper

这些目录分别是存放配置、日志、协调数据日志和快照的地方，权限给对，服务才能正常读写。环境准备就绪，接下来就是最核心的配置环节了。

3. 深度解析集群节点配置

配置是集群部署的灵魂，也是新手最容易迷糊的地方。ClickHouse的配置采用XML格式，并且支持“配置片段”的方式。简单说，就是不要直接修改主配置文件/etc/clickhouse-server/config.xml，而是在config.d目录下创建我们自己的小配置文件，系统会自动把它们合并进去。这样做的好处是升级时不会被覆盖，管理起来也清晰。

我们的配置可以分为几个核心部分，我为你一一拆