MongoDB复制集RS(主从)and分片集群

本文详细介绍了MongoDB的复制集(RS集群)和分片集群的配置及测试。在RS集群中,讨论了基本原理、配置过程、复制集管理操作,包括延时节点和隐藏节点的配置。在分片集群部分,提到了配置规划、configserver、shard节点的设置,以及mongos节点的配置,并通过RANGE和Hash分片进行了实战测试。

RS集群

1、基本原理
基本构成是1主2从的结构,自带互相监控投票机制(Raft(MongoDB) Paxos(mysql MGR 用的是变种))
如果发生主库宕机,复制集内部会进行投票选举,选择一个新的主库替代原有主库对外提供服务。同时复制集会自动通知
客户端程序,主库已经发生切换了。应用就会连接到新的主库。
2、 Replication Set配置过程详解
(1) 规划
三个以上的mongodb节点(或多实例)
(2)环境准备
多个端口:28017、28018、28019、28020

	#创建并切换到mongod用户
	su - mongod 
	#为每个实例创建一个目录
	mkdir -p /mongodb/28017/conf /mongodb/28017/data /mongodb/28017/log
	mkdir -p /mongodb/28018/conf /mongodb/28018/data /mongodb/28018/log
	mkdir -p /mongodb/28019/conf /mongodb/28019/data /mongodb/28019/log
	mkdir -p /mongodb/28020/conf /mongodb/28020/data /mongodb/28020/log
	#查看目录是否创建成功
	tree /mongodb

查看到下图代表目录创建成功
![在这里插入图片描述](https://img-blog.csdnimg.cn/20200719133730912.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMjc5Mzcx,size_16,color_FFFFFF,t_70

#在28017上增加配置文件内容(注意代码块中的bindIp根据自己实际情况而定)
cat > /mongodb/28017/conf/mongod.conf <<EOF
systemLog:
  destination: file
  path: /mongodb/28017/log/mongodb.log
  logAppend: true
storage:
  journal:
    enabled: true
  dbPath: /mongodb/28017/data
  directoryPerDB: true
  #engine: wiredTiger
  wiredTiger:
    engineConfig:
      cacheSizeGB: 1
      directoryForIndexes: true
    collectionConfig:
      blockCompressor: zlib
    indexConfig:
      prefixCompression: true
processManagement:
  fork: true
net:
  bindIp: 192.168.220.21,127.0.0.1
  port: 28017
replication:
  oplogSizeMB: 2048
  replSetName: my_repl
EOF
#将刚配置的28017上的配置文件拷贝到另外三实例中
\cp  /mongodb/28017/conf/mongod.conf  /mongodb/28018/conf/
\cp  /mongodb/28017/conf/mongod.conf  /mongodb/28019/conf/
\cp  /mongodb/28017/conf/mongod.conf  /mongodb/28020/conf/
#将20817替换为28018、28019、28020
sed 's#28017#28018#g' /mongodb/28018/conf/mongod.conf -i
sed 's#28017#28019#g' /mongodb/28019/conf/mongod.conf -i
sed 's#28017#28020#g' /mongodb/28020/conf/mongod.conf -i
#启动多个实例备用
mongod -f /mongodb/28017/conf/mongod.conf
mongod -f /mongodb/28018/conf/mongod.conf
mongod -f /mongodb/28019/conf/mongod.conf
mongod -f /mongodb/28020/conf/mongod.conf

输入,查看端口是否开启成功

ps -ef|grep mongod

在这里插入图片描述3、配置普通复制集
1主2从,从库普通从库

#登入28017
mongo --port 28017 admin
#配置主从复制
config = {_id: 'my_repl', members: [
                          {_id: 0, host: '192.168.220.21:28017'},
                          {_id: 1, host: '192.168.220.21:28018'},
                          {_id: 2, host: '192.168.220.21:28019'}]
          }
#初始化      
rs.initiate(config) 
#查询复制集状态
rs.status();

4、复制集管理操作

#查看复制集状态 
rs.status();    //查看整体复制集状态
rs.isMaster(); // 查看当前是否是主节点
rs.conf();   //查看复制集配置信息
#添加删除节点
rs.remove("ip:port"); // 删除一个节点
rs.add("ip:port"); // 新增从节点
rs.addArb("ip:port"); // 新增仲裁节点
例子:
添加 arbiter节点
#1、连接到主节点
mongo --port 28018 admin
#2、添加仲裁节点
my_repl:PRIMARY> rs.addArb("10.0.0.53:28020")
#3、查看节点状态
my_repl:PRIMARY> rs.isMaster()
{
    "hosts" : [
        "10.0.0.53:28017",
        "10.0.0.53:28018",
        "10.0.0.53:28019"
    ],
    "arbiters" : [
        "10.0.0.53:28020"
    ]}

特殊从节点
介绍:

arbiter节点:	主要负责选主过程中的投票,但是不存储任何数据,也不提供任何服务
hidden节点:		隐藏节点,不参与选主,也不对外提供服务。
delay节点:		延时节点,数据落后于主库一段时间,因为数据是延时的,也不应该提供服务或参与选主,所以通常会配合hidden(隐藏)
				一般情况下会将delay+hidden一起配置使用

配置延时节点(一般延时节点也配置成hidden)
注意:[ ]中的数字是rs.conf()结果中从第0号开始数的

cfg=rs.conf() 
cfg.members[2].priority=0
cfg.members[2].hidden=true
cfg.members[2].slaveDelay=120
rs.reconfig(cfg)    

取消以上配置

cfg=rs.conf() 
cfg.members[2].priority=1
cfg.members[2].hidden=false
cfg.members[2].slaveDelay=0
rs.reconfig(cfg)   

配置成功后,通过以下命令查询配置后的属性

rs.conf(); 

分片集群

官方原理图:
分片集群官网原理图
规划:10个实例:38017-38026
(1)configserver:
3台构成的复制集(1主两从,不支持arbiter)38018-38020(复制集名字configsvr)
(2)shard节点:
sh1:38021-23 (1主两从,其中一个节点为arbiter,复制集名字sh1)
sh2:38024-26 (1主两从,其中一个节点为arbiter,复制集名字sh2)
配置过程
1、config节点配置:

1.1目录创建:
mkdir -p /mongodb/38018/conf  /mongodb/38018/log  /mongodb/38018/data
mkdir -p /mongodb/38019/conf  /mongodb/38019/log  /mongodb/38019/data
mkdir -p /mongodb/38020/conf  /mongodb/38020/log  /mongodb/38020/data
1.2修改配置文件:
cat > /mongodb/38018/conf/mongodb.conf <<EOF
systemLog:
  destination: file
  path: /mongodb/38018/log/mongodb.conf
  logAppend: true
storage:
  journal:
    enabled: true
  dbPath: /mongodb/38018/data
  directoryPerDB: true
  #engine: wiredTiger
  wiredTiger:
    engineConfig:
      cacheSizeGB: 1
      directoryForIndexes: true
    collectionConfig:
      blockCompressor: zlib
    indexConfig:
      prefixCompression: true
net:
  bindIp: 192.168.220.21,127.0.0.1
  port: 38018
replication:
  oplogSizeMB: 2048
  replSetName: configReplSet
sharding:
  clusterRole: configsvr
processManagement: 
  fork: true
EOF
#同步到另外两台机上
cp /mongodb/38018/conf/mongodb.conf /mongodb/38019/conf/
cp /mongodb/38018/conf/mongodb.conf /mongodb/38020/conf/
sed 's#38018#38019#g' /mongodb/38019/conf/mongodb.conf -i
sed 's#38018#38020#g' /mongodb/38020/conf/mongodb.conf -i
1.3启动节点,并配置复制集
mongod -f /mongodb/38018/conf/mongodb.conf 
mongod -f /mongodb/38019/conf/mongodb.conf 
mongod -f /mongodb/38020/conf/mongodb.conf 
#登入38018
mongo --port 38018 admin
#配置主从库
config = {_id: 'configReplSet', members: [
                          {_id: 0, host: '192.168.220.21:38018'},
                          {_id: 1, host: '192.168.220.21:38019'},
                          {_id: 2, host: '192.168.220.21:38020'}]
           }
rs.initiate(config)  

注:configserver 可以是一个节点,官方建议复制集。configserver不能有arbiter。(新版本中,要求必须是复制集。)
注:mongodb 3.4之后,虽然要求config server为replica set,但是不支持arbiter

2、shard复制集配置:

2.1目录创建:
mkdir -p /mongodb/38021/conf  /mongodb/38021/log  /mongodb/38021/data
mkdir -p /mongodb/38022/conf  /mongodb/38022/log  /mongodb/38022/data
mkdir -p /mongodb/38023/conf  /mongodb/38023/log  /mongodb/38023/data
mkdir -p /mongodb/38024/conf  /mongodb/38024/log  /mongodb/38024/data
mkdir -p /mongodb/38025/conf  /mongodb/38025/log  /mongodb/38025/data
mkdir -p /mongodb/38026/conf  /mongodb/38026/log  /mongodb/38026/data
2.2修改配置文件:
sh1:
cat > /mongodb/38021/conf/mongodb.conf<<EOF 
systemLog:
  destination: file
  path: /mongodb/38021/log/mongodb.log   
  logAppend: true
storage:
  journal:
    enabled: true
  dbPath: /mongodb/38021/data
  directoryPerDB: true
  #engine: wiredTiger
  wiredTiger:
    engineConfig:
      cacheSizeGB: 1
      directoryForIndexes: true
    collectionConfig:
      blockCompressor: zlib
    indexConfig:
      prefixCompression: true
net:
  bindIp: 192.168.220.21,127.0.0.1
  port: 38021
replication:
  oplogSizeMB: 2048
  replSetName: sh1
sharding:
  clusterRole: shardsvr
processManagement: 
  fork: true
EOF

cp  /mongodb/38021/conf/mongodb.conf  /mongodb/38022/conf/
cp  /mongodb/38021/conf/mongodb.conf  /mongodb/38023/conf/
sed 's#38021#38022#g' /mongodb/38022/conf/mongodb.conf -i
sed 's#38021#38023#g' /mongodb/38023/conf/mongodb.conf -i

sh2:
cat > /mongodb/38024/conf/mongodb.conf<<EOF 
systemLog:
  destination: file
  path: /mongodb/38024/log/mongodb.log   
  logAppend: true
storage:
  journal:
    enabled: true
  dbPath: /mongodb/38024/data
  directoryPerDB: true
  wiredTiger:
    engineConfig:
      cacheSizeGB: 1
      directoryForIndexes: true
    collectionConfig:
      blockCompressor: zlib
    indexConfig:
      prefixCompression: true
net:
  bindIp: 192.168.220.21,127.0.0.1
  port: 38024
replication:
  oplogSizeMB: 2048
  replSetName: sh2
sharding:
  clusterRole: shardsvr
processManagement: 
  fork: true
EOF

cp  /mongodb/38024/conf/mongodb.conf  /mongodb/38025/conf/
cp  /mongodb/38024/conf/mongodb.conf  /mongodb/38026/conf/
sed 's#38024#38025#g' /mongodb/38025/conf/mongodb.conf -i
sed 's#38024#38026#g' /mongodb/38026/conf/mongodb.conf -i

2.3启动所有节点,并搭建复制集:
mongod -f  /mongodb/38021/conf/mongodb.conf 
mongod -f  /mongodb/38022/conf/mongodb.conf 
mongod -f  /mongodb/38023/conf/mongodb.conf 
mongod -f  /mongodb/38024/conf/mongodb.conf 
mongod -f  /mongodb/38025/conf/mongodb.conf 
mongod -f  /mongodb/38026/conf/mongodb.conf  

mongo --port 38021 admin
config = {_id: 'sh1', members: [
                          {_id: 0, host: '192.168.220.21:38021'},
                          {_id: 1, host: '192.168.220.21:38022'},
                          {_id: 2, host: '192.168.220.21:38023',"arbiterOnly":true}]
           }
rs.initiate(config)

mongo --port 38024  admin
config = {_id: 'sh2', members: [
                          {_id: 0, host: '192.168.220.21:38024'},
                          {_id: 1, host: '192.168.220.21:38025'},
                          {_id: 2, host: '192.168.220.21:38026',"arbiterOnly":true}]
           }
rs.initiate(config)

3、mongos节点配置:

3.1创建目录:
mkdir -p /mongodb/38017/conf  /mongodb/38017/log 
3.2配置文件:
cat >/mongodb/38017/conf/mongos.conf<<EOF
systemLog:
  destination: file
  path: /mongodb/38017/log/mongos.log
  logAppend: true
net:
  bindIp: 192.168.220.21,127.0.0.1
  port: 38017
sharding:
  configDB: configReplSet/192.168.220.21:38018,192.168.220.21:38019,192.168.220.21:38020
processManagement: 
  fork: true
EOF         
3.3启动mongos
mongos -f /mongodb/38017/conf/mongos.conf 

4、分片集群操作:

(1)连接到mongs的admin数据库
# su - mongod
mongo 192.168.220.21:38017/admin
(2)添加分片
db.runCommand( { addshard : "sh1/192.168.220.21:38021,192.168.220.21:38022,192.168.220.21:38023",name:"shard1"} )
db.runCommand( { addshard : "sh2/192.168.220.21:38024,192.168.220.21:38025,192.168.220.21:38026",name:"shard2"} )
(3)列出分片
mongos> db.runCommand( { listshards : 1 } )
(4)整体状态查看
mongos> sh.status();

5、分片集群实战
类型一: RANGE分片 :两个shard节点,待一个节点存满是,才分配到下一节点
类型二: Hash分片 :两个shard节点,同时工作,相对均匀分布

RANGE分片配置及测试

test库下的vast大表进行手工分片

1、激活数据库分片功能
mongo --port 38017 admin
admin>  ( { enablesharding : "数据库名称" } )
admin> db.runCommand( { enablesharding : "test" } )
2、指定分片建对集合分片,范围片键
--创建索引
use test
> db.vast.ensureIndex( { id: 1 } )
--开启分片
use admin
> db.runCommand( { shardcollection : "test.vast",key : {id: 1} } )
3、集合分片验证
admin> use test
test> for(i=1;i<1000000;i++){ db.vast.insert({"id":i,"name":"shenzheng","age":70,"date":new Date()}); }
test> db.vast.stats()
4、分片结果测试
shard1:
mongo --port 38021
db.vast.count();
shard2:
mongo --port 38024
db.vast.count();

Hash分片配置及测试

对oldboy库下的vast大表进行hash
创建哈希索引
(1)对于oldboy开启分片功能
mongo --port 38017 admin
use admin
admin> db.runCommand( { enablesharding : "oldboy" } )
(2)对于oldboy库下的vast表建立hash索引
use oldboy
oldboy> db.vast.ensureIndex( { id: "hashed" } )
(3)开启分片 
use admin
admin > sh.shardCollection( "oldboy.vast", { id: "hashed" } )
(4)录入10w行数据测试
use oldboy
for(i=1;i<100000;i++){ db.vast.insert({"id":i,"name":"shenzheng","age":70,"date":new Date()}); }
(5)hash分片结果测试
mongo --port 38021
use oldboy
db.vast.count();
mongo --port 38024
use oldboy
db.vast.count();

查看分片详细信息

sh.status()

6、shard管理–balancer操作

介绍:mongos的一个重要功能,自动巡查所有shard节点上的chunk的情况,自动做chunk迁移。
什么时候工作?
1、自动运行,会检测系统不繁忙的时候做迁移
2、在做节点删除的时候,立即开始迁移工作
3、balancer只能在预设定的时间窗口内运行 *****
有需要时可以关闭和开启blancer(备份的时候)
mongos> sh.stopBalancer()
mongos> sh.startBalancer()

具体操作:

#启动mongos
mongo --port 38017 admin
#use到config下去
use config
#启用balancer操作
sh.setBalancerState( true )
db.settings.update({ _id : "balancer" }, { $set : { activeWindow : { start : "3:00", stop : "5:00" } } }, true )
#查看是否配置成功
sh.status()

在这里插入图片描述到此,就结束啦!!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值