详解ES分片

详解ES分片

ES分片是什么

ES 分片（Shard） 可以理解为是将一个大型索引拆分成多个较小部分的机制。

具体来说，分片有以下重要特点和作用：

• 数据分布：它使得数据可以分布在集群的不同节点上，实现数据的分布式存储和处理，从而能够处理大规模的数据量。
• 提升性能：通过将数据分散到多个分片上，允许并行处理查询和写入操作，提升整体性能。
• 容错性：如果部分分片所在的节点出现故障，其他分片上的数据依然可用，保证了一定程度的系统可用性。

每个分片都是一个独立的功能单元，可以独立处理读写请求，同时 ES 会自动管理分片在集群中的分布和平衡。

ES中所有数据会均衡的存储在集群中各个节点的分片中。
分片（shard）是数据的最小单元块。如一个节点中存在两个分片的话，当有10个文档插入时他将会前5个存在分片1，后5个存在分片2。分片是一种存储形式概念，并非物理隔离。

主分片和副本分片

主分片是数据的主要存储单元，每个主分片都是一个独立的 Lucene 索引。副本分片是主分片的备份，用于提高数据的可用性和容错性。

主分片是数据的主要存储单元，每个主分片都包含一部分数据。主分片的数量在创建索引时确定，并且不能更改。主分片的作用是存储和处理数据的写入、更新和查询操作。

副本分片是主分片的复制，用于提高数据的可用性和查询性能。副本分片可以在不同的节点上存储，以防止数据丢失和提高系统的容错能力。副本分片可以随时添加或删除，并且可以在不同的节点上进行动态平衡。

主分片和副本分片的关系是主从关系，副本分片是主分片的备份。当主分片出现故障时，副本分片可以自动提升为主分片，以保证数据的可用性和系统的正常运行。

在 Elasticsearch 中，默认情况下的主分片数量为5，副本分片的数量默认为1。这个默认设置适用于单节点和多节点的 Elasticsearch 集群。

需要注意的是，主分片的数量在索引创建后不能修改，而副本分片的数量可以在创建索引后动态修改。

此外，分片和副本的数量也会影响到索引的性能、数据的分布和可用性，因此在进行调整时需要谨慎考虑。

在实际应用中，可以根据数据量、性能需求和硬件资源等因素来调整主分片和副本分片的数量。

主分片/副本分片过多的影响

主分片数量过多可能会导致以下影响：

• 性能下降：主分片数量过多会增加数据分布