点赞 点赞 12
评论 0
书签 书签 17

ClickHouse分布式部署搭建单分片二副本集群

原创 已于 2024-12-12 09:55:43 修改 · 1.9k 阅读 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
cknow-ai 代码可运行
于 2024-08-26 17:55:59 首次发布

搭建单分片二副本集群，使用MergeTree引擎测试数据同步

服务器：

127.0.0.1 clickhouse

127.0.0.2 clickhouse + keeper

结构图

1.修改hosts

vi /etc/hosts

添加需要部署的ip和名字

127.0.0.1 node1
127.0.0.2 node2

2. node1配置文件修改

2.1 修改/etc/clickhouse-server/user.xml
<clickhouse>
    <profiles>
        <!-- Default settings. -->
       <default>
      	<!--默认值为0，表示不启用原子写入；改为与smartbi_replica集群中的副本数相等-->
        	<insert_quorum>2</insert_quorum>
      	<!--默认值为600000毫秒（10分钟）；改为30分钟以防止写入和同步副本超时-->
        	<insert_quorum_timeout>1800000</insert_quorum_timeout>
        </default>
        <!-- Profile that allows only read queries. -->
        <readonly>
            <readonly>1</readonly>
        </readonly>
    </profiles>
</clickhouse>
2.2 修改/etc/clickhouse-server/config.d/metrika.xml
<?xml version="1.0"?>
<yandex>
    <clickhouse_remote_servers>
         <smartbi>
			<!-- 数据分片1  -->
            <shard>
              <!-- 可选的。写入分布式表时是否只将数据写入其中一个副本。默认值:false(将数据写入所有副本)。 -->
                <internal_replication>false</internal_replication>
                <replica>
					<!-- host：数据分片节点，可以写机器名，ip地址。-->
					<host>node1</host>
					<!-- port：消息传递TCP端口，默认9000，不要与http端口混淆 -->
                    <port>9000</port>
					<!-- user：用于连接远程服务器的用户名。默认值：default。该用户必须有权限访问该远程服务器。访问权限配置在 users.xml 文件中。 -->
                    <user>default</user>
					<!-- password：用于连接远程服务器的密码。默认为空，users.xml 文件中配置。 -->
                   <password></password>
                </replica>
                <replica>
                    <host>node2</host>
                    <port>9000</port>
                    <user>default</user>
                    <password></password>
                </replica>
            </shard>
        </smartbi>
    </clickhouse_remote_servers>

    <!--zookeeper相关配置-->
    <zookeeper-servers>
		<!-- zookeeper节点1-->
        <node index="1">
			<!-- host：zookeeper服务器地址，可以写机器名，ip地址。-->
            <host>node2</host>
			<!-- port：zookeeper服务端口，默认2181。-->
            <port>9181</port>
        </node>
	<!-- 定义用户名和密码，ZooKeeper需要它才能访问请求的zNode，可选项 -->
	<!-- <identity>admin:manager</identity> -->
    </zookeeper-servers>
        <!-- 本节点副本名称，根据节点修改-->
    <macros>
        <replica>node1</replica>
    </macros>
        <!-- 监听网络 -->
    <networks>
        <ip>::/0</ip>
    </networks>
        <!-- 数据压缩算法  -->
    <clickhouse_compression>
        <case>
            <min_part_size>10000000000</min_part_size>
            <min_part_size_ratio>0.01</min_part_size_ratio>
            <method>lz4</method>
        </case>
    </clickhouse_compression>
</yandex>
2.3 修改/etc/clickhouse-server/config.xml 
<!-- 当前机器的主机名，根据节点修改，需配置到hosts中 -->
<interserver_http_host>node1</interserver_http_host>

<!-- 开启远程访问 -->
<listen_host>0.0.0.0</listen_host>

<include_from>/etc/clickhouse-server/config.d/metrika.xml</include_from> 
<!-- 导入metrika.xml的clickhouse_remote_servers -->
<remote_servers incl="clickhouse_remote_servers" />
<!-- 导入metrika.xml的zookeeper-servers -->
<zookeeper incl="zookeeper-servers" optional="true" /> 

<macros incl="macros" optional="true" />

3. node2配置文件修改

3.1 修改/etc/clickhouse-server/user.xml
<clickhouse>
    <profiles>
        <!-- Default settings. -->
       <default>
      	<!--默认值为0，表示不启用原子写入；改为与smartbi_replica集群中的副本数相等-->
        	<insert_quorum>2</insert_quorum>
      	<!--默认值为600000毫秒（10分钟）；改为30分钟以防止写入和同步副本超时-->
        	<insert_quorum_timeout>1800000</insert_quorum_timeout>
        </default>
        <!-- Profile that allows only read queries. -->
        <readonly>
            <readonly>1</readonly>
        </readonly>
    </profiles>
</clickhouse>
3.2 修改/etc/clickhouse-server/config.d/metrika.xml
<?xml version="1.0"?>
<yandex>
    <clickhouse_remote_servers>
         <smartbi>
			<!-- 数据分片1  -->
            <shard>
              <!-- 可选的。写入分布式表时是否只将数据写入其中一个副本。默认值:false(将数据写入所有副本)。 -->
                <internal_replication>false</internal_replication>
                <replica>
					<!-- host：数据分片节点，可以写机器名，ip地址。-->
					<host>node1</host>
					<!-- port：消息传递TCP端口，默认9000，不要与http端口混淆 -->
                    <port>9000</port>
					<!-- user：用于连接远程服务器的用户名。默认值：default。该用户必须有权限访问该远程服务器。访问权限配置在 users.xml 文件中。 -->
                    <user>default</user>
					<!-- password：用于连接远程服务器的密码。默认为空，users.xml 文件中配置。 -->
                   <password></password>
                </replica>
                <replica>
                    <host>node2</host>
                    <port>9000</port>
                    <user>default</user>
                    <password></password>
                </replica>
            </shard>
        </smartbi>
    </clickhouse_remote_servers>

    <!--zookeeper相关配置-->
    <zookeeper-servers>
		<!-- zookeeper节点1-->
        <node index="1">
			<!-- host：zookeeper服务器地址，可以写机器名，ip地址。-->
            <host>node2</host>
			<!-- port：zookeeper服务端口，默认2181。-->
            <port>9181</port>
        </node>
	<!-- 定义用户名和密码，ZooKeeper需要它才能访问请求的zNode，可选项 -->
	<!-- <identity>admin:manager</identity> -->
    </zookeeper-servers>
        <!-- 本节点副本名称，根据节点修改-->
    <macros>
        <replica>node2</replica>
    </macros>
        <!-- 监听网络 -->
    <networks>
        <ip>::/0</ip>
    </networks>
        <!-- 数据压缩算法  -->
    <clickhouse_compression>
        <case>
            <min_part_size>10000000000</min_part_size>
            <min_part_size_ratio>0.01</min_part_size_ratio>
            <method>lz4</method>
        </case>
    </clickhouse_compression>
</yandex>
3.3 修改/etc/clickhouse-server/config.xml 
<!-- 当前机器的主机名，根据节点修改，需配置到hosts中 -->
<interserver_http_host>node2</interserver_http_host>

<!-- 开启远程访问 -->
<listen_host>0.0.0.0</listen_host>

<include_from>/etc/clickhouse-server/config.d/metrika.xml</include_from> 

<remote_servers incl="clickhouse_remote_servers" />
<!-- 自己有配置无需从外面导入 -->
<!-- <zookeeper incl="zookeeper-servers" optional="true" /> -->

<macros incl="macros" optional="true" />

<!-- 只在需要启动clickhouse-keeper的节点上使用此配置,根据节点修改 -->
<keeper_server>
    <!-- keeper服务的端口 -->
    <tcp_port>9181</tcp_port>
    <!-- keeper服务的server_id，根据节点修改 -->
    <server_id>1</server_id>
    <!-- keeper服务的日志存储路径，可以自行指定，此目录需要配置clickhouse用户的读写权限。 -->
    <log_storage_path>/var/lib/clickhouse/coordination/log</log_storage_path>
    <!-- keeper服务的快照存储路径，可以自行指定，此目录需要配置clickhouse用户的读写权限。 -->
    <snapshot_storage_path>/var/lib/clickhouse/coordination/snapshots</snapshot_storage_path>
         
    <!-- keeper服务的其他参数信息，保持默认即可 -->
    <coordination_settings>
        <operation_timeout_ms>10000</operation_timeout_ms>
        <session_timeout_ms>30000</session_timeout_ms>
        <raft_logs_level>trace</raft_logs_level>
    </coordination_settings>
 
    <raft_configuration>
        <!-- keeper服务节点配置信息 -->
        <server>
            <id>1</id>
            <hostname>node2</hostname>
            <port>9444</port>
        </server>
    </raft_configuration>
</keeper_server>

<!-- keeper配置标签起始点 -->
<zookeeper>
  <!-- keeper节点1配置 -->
  <node>
    <host>node2</host>
    <port>9181</port>
  </node>
</zookeeper>

4.创建MergeTree引擎本地表和分布式表，测试副本间数据同步情况

1. 在任意节点执行sql创建本地表：

create table smp_local ON CLUSTER smartbi 
(ID Int8,  
Name String, 
BirthDate Date 
) ENGINE = MergeTree() 
PARTITION BY toYYYYMMDD(BirthDate)  ORDER BY (Name, BirthDate) SETTINGS index_granularity = 8192;

  • 可以看到同分片的所有副本都有了新建的本地表

  • 上面sql中的 smartbi 为集群名，定义在配置文件中

2. 在任意节点执行sql创建分布式表：

CREATE TABLE smp_all ON CLUSTER smartbi (ID Int8,  \
Name String, \ 
BirthDate Date \
) ENGINE = Distributed(smartbi, smp, smp_local, rand());

  • 可以看到同分片的所有副本都有了新建的分布式表

  • 上面sql中的参数： Distributed(集群名, 数据库名, 本地表名, 分片方式);

 3. 插入数据，测试副本间同步情况\

  • 在node1节点插入数据到本地表

insert into smp_local (ID,Name,BirthDate)values(1,'zhangsan','2001-10-12');
insert into smp_local (ID,Name,BirthDate)values(2,'lisi','2002-11-13');

查询node1本地表，可以看到存在新增的两条数据

查询node1分布式表，可以看到存在新增的两条数据

查询node2分布式表和本地表，发现不存在新增的两条数据

结论：直接将数据插入到某一节点的本地表，数据不会同步到其他副本

  • 在node1节点插入数据到分布式表

insert into smp_all (ID,Name,BirthDate)values(4,'zhaoliu','2004-09-02');
insert into smp_all (ID,Name,BirthDate)values(5,'tianqi','2005-08-22');

查询node1本地表，可以看到存在新增的两条数据

查询node1分布式表，可以看到存在新增的两条数据

查询node2分布式表和本地表，可以看到存在新增的两条数据

结论：将数据插入到任意节点的分布式表，数据会同步到其他副本

5. 模拟某一节点宕机后数据同步情况

  • 在node1节点关闭clickhouse： sudo service clickhouse-server stop

  • 在node1关闭期间，在node2节点往分布式表中插入数据

  • 启动node1节点clickhouse，查看node1本地表和分布式表，发现宕机期间在node2节点插入的数据都存在

  • 结论：某一节点宕机一段时间后再恢复，增量数据会同步到宕机节点

补充

启动clickhouse 

sudo service clickhouse-server start 

停止clickhouse 

sudo service clickhouse-server stop

重启clickhouse 

sudo service clickhouse-server restart

登录clickhouse

clickhouse-client --host=127.0.0.1 --port=9000 --user=default --password=xxxx

查看ClickHouse Keeper 是否启动

echo mntr | nc localhost 9181

标签
#clickhouse #分布式
分类 大数据
clickhouse（一）两分片两副本集群搭建
Interest1_wyt的博客
08-08 4845
最近工作中遇到了clickhouse副本存储的问题，所以准备搭建一套clickhouse集群研究下，这里将搭建的过程和遇到的坑记录下，便于以后使用。 1、准备三台虚拟机，分别安装clickhouse的服务端和客户端 这里的安装过程是纯粹拷贝的官网命令，首先验证虚拟机是否支持clickhouse的安装： grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supporte...
Clickhouse 3分片2副本 集群搭建方法 附基本原理概念和详细搭建步骤 (单节点多实例部署方法)
知行合一
06-27 4238
本文档描述了 Clickhouse 集群在三台物理主机上的 “3分片2副本” 的配置及搭建方法。 使用该方法进行 Clickhouse 的集群搭建，即可在保障充分并行利用 3 台机器算例的同时，对每个 shard 进行跨主机的备份，为 Clickhouse 服务高可用和错误恢复机制提供了底层技术支撑。
10 - Clickhouse集群部署以及副本和分片
花&败
11-23 2204
副本的目的主要是保障数据的高可用性，即使一台 ClickHouse 节点宕机，那么也可以从其他服务器获得相同的数据。
clickhouse2分片2副本高可用集群搭建及chproxy代理配置使用
shy_snow的专栏
06-02 2853
clickhouse集群是表级别的，在节点层面上clickhouse每个节点都是独立的, 即使组成集群了也是独立的，所以永远只能连接到clickhouse的单节点上。可以类比redis，有点像是积木，可以按配置文件随意组装。只要各节点上安装clickhouse单机之后再配置config.xml和/etc/metrika.xml将其他节点的连接信息以及分片和副本情况配置好就可以了。
Clickhouse高可用集群版三节点两副本部署
09-19 3016
集群版多副本部署，高权限用户追加
详解 ClickHouse 的分片集群
weixin_44480009的博客
06-22 3241
分片功能依赖于 Distributed 表引擎，Distributed 表引擎本身不存储数据，有点类似于 MyCat 之于 MySql，成为一种中间件，通过分布式逻辑表来写入、分发、路由来操作多台节点不同分片的分布式数据ClickHouse 进行分片集群的目的是解决数据的横向扩容，通过分片把一份完整的数据进行切分，不同的分片分布到不同的节点上，再通过 Distributed 表引擎把数据拼接起来一同使用。
ClickHouse03-小白如何快速搭建ClickHouse集群
c_zyer的博客
03-25 2911
普通测试通常使用ClickHouse单节点就可以了，但是生产环境不免需要考虑多活、负载等高可用问题，集群就成了基础需求两种选择均可。ZooKeeper方式搭建CK集群，docker-compose部署，ClickHouse-Keeper方式搭建CK集群
Clickhouse集群的搭建方法及搭建过程中报错的解决方法
lusklusklusk的博客
12-01 2794
3.2、在四个节点上配置2分片，每个分片3副本的集群策略,zookeeper默认端口是2181，参见/chdata/zookeeper/apache-zookeeper-3.7.1-bin/conf/zoo.cfg配置文件中clientPort配置项，clickhouse端口默认是9000，参见/etc/clickhouse-server/config.xml配置文件中tcp_port配置项。配置数据文件存放路径。分布式表的写入和查询，可以利用多台服务器的存储、计算资源，具有较好的横向拓展能力。
ClickHouse 3节点集群部署与分布式表实战
vim8coder的博客
02-26 993
本文详细介绍了ClickHouse 3节点集群的部署与分布式表实战。通过分步解析集群架构、环境搭建、核心配置（包括ClickHouse Keeper、宏定义与远程服务器配置），指导读者完成从服务启动、健康检查到创建本地表与分布式表的全过程，并深入探讨了分片键选择、高可用及生产环境考量等关键实践。
clickhouse运维篇（二）：多机器手动部署ck集群
希望能解决大家的问题，也欢迎老哥们来骚扰技术交流业务中的问题
10-30 1958
例如，所以如果只有三台机器，想部署3分片每个分片2实例的集群就需要3*2=6个 实例【遵循上面1.a中 分片数
ClickHouse高可用集群搭建 2分片2副本
Jason_light的博客
10-21 2774
ClickHouse高可用集群搭建部署安装一、先安装zookeeper集群1、下载压缩包2、解压3、解压后的目录4、配置zoo.cfg:创建myid文件5、几个命令二、clickhouse集群安装1、下载安装包2、修改配置文件config.xmlmetrika.xmluserx.xml3、验证clickhouse-server9001.service：下一篇介绍clickhouse客户端可视化工具以及集群监控 部署安装 本人是基于以下机器 一、先安装zookeeper集群 因资源有限，在2台机器上部署3个z
ClickHouse集群配置及分布式简单使用
qq_27376155的博客
02-01 5389
ClickHouse集群（Cluster） 在物理构成上，ClickHouse集群是由多个ClickHouse Server实例组成的分布式数据库。这些ClickHouse Server根据购买规格的不同而可能包含1个或多个副本（Replica）、1个或多个分片（Shard）。在逻辑构成上，一个ClickHouse集群可以包含多个数据库（Database）对象。
ClickHouse 集群部署（不需要 Zookeeper）
wzy0623的专栏
04-16 2716
使用 ClickHouse Keeper 安装部署 ClickHouse 集群，并使用 MergeTree、ReplicatedMergeTree 两种表引擎的分布式表，分别实现数据自动分片和副本数据自动同步。
clickhouse集群搭建（3分片2副本）
leejunokokok的专栏
05-31 4799
集群名称 分片 副本 IP地址 端口 用户 cluster_3shards_2replicas 1 1 10.1.48.12 9000 default cluster_3shards_2replicas 1 ...
从单机到高可用：ClickHouse两分片两副本集群搭建全流程（CentOS7环境）
mac99的博客
03-06 526
本文详细讲解了在CentOS7环境下，如何从零开始搭建一个具备高可用和横向扩展能力的ClickHouse两分片两副本集群。内容涵盖集群架构设计、单节点多实例配置、ZooKeeper集成、核心参数详解以及最终的启动验证与分布式表创建，旨在帮助用户平滑过渡到分布式部署，理解分片与副本的协同工作机制。
ClickHouse【高可用篇】01：ClickHouse副本集部署
weixin_40612128的博客
05-24 501
ClickHouse【高可用篇】01：ClickHouse副本集部署
ClickHouse集群搭建避坑指南：两分片两副本实战（含ZooKeeper配置）
最新发布
sam99的博客
03-11 611
本文是一份详细的ClickHouse集群搭建避坑指南，重点解析了高可用的两分片两副本架构的实战部署。内容涵盖从环境规划、ZooKeeper集群配置、ClickHouse多实例安装，到核心的集群与副本配置逻辑、宏变量设置，以及最终的启动验证与故障排查。旨在帮助用户构建稳定、可维护的生产级ClickHouse集群环境。
ClickHouse 集群化部署实战：分片 + 副本架构（新手也能搞定）
2401_87126002的博客
11-26 1250
ClickHouse 集群的核心是分片（横向扩展）+ 副本（高可用），通过 ZooKeeper 协调元数据和副本同步。所有节点的中<macros>需按角色修改；本地表用引擎（支持副本），分布式表用引擎（路由数据）；测试时先验证集群连通性，再测试数据分片和副本同步。生产环境中，可根据数据量调整分片数（比如 10 分片），副本数建议 2-3 个，结合监控工具（Prometheus+Grafana）实时监控集群状态～
Clickhouse笔记（二） 集群搭建
alfiy的专栏
10-24 3061
如果在clickhouse的配置中，使用了域名配置而不是IP地址，除非你的域名真实存在，否则需要修改本机的hosts文件。注意，ClickHouse 要求每个分片的每个副本必须配置在单独的实例上，也就是说在整个集群范围内，一共有多少个副本，就需要创建多少个 ClickHouse 实例。🖊 1 对应node1 2对应node23对应node3。文件的标签中添加以下内容。
【clickhouse】clickhouse 副本与分片 分片详解
九师兄
02-07 7362
1.概述 转载：【clickhouse】clickhouse 副本与分片 分片详解 clickhouse 中每个服务器节点都可以被称为一个 shard（分片）。 假设有 N 台服务器，每个服务器上都有一张数据表 A，且每个服务器上的 数据表 A 的数据不重复，那么就可以说数据表 A 拥有 N 的分片。 对于一个完整的方案来说，还要考虑在数据写入时如何被均匀低写到各个分片中，以及数据在查询时如何路由到每个分片，组合成结果集。 clickhouse 的数据分片需要结合 DIstributed 表引擎一起使用。.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

雨会停rain

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值