mongodb sharding分片模式的集群数据库，日志治理缺失导致写入数据库报错MongoWriteConcernException的问题总结（上）

一、背景

常见的mongodb集群模式有以下三种：

  • 主从复制（Master-Slave）模式
  • 副本集（Replica Set）模式
  • 分片（Sharding）模式

公司测试环境搭建的集群采用分片模式，有同事反馈说，程序写入数据库报错。
详细错误见下：

Caused by: com.mongodb.MongoWriteConcernException: waiting for replication timed out; Error details: { wtimeout: true } at sdrs03

提示写入数据失败，因为是分片模式，所以它的数据是需要写入到两个分片服务机器上。

也就是说，这个错误很可能是因为一个分片写入成功，另一个写入失败所导致。

连接某个节点，连接Mongodb，执行命令sh.status()查看集群状态。

最后发现是某个机器的磁盘空间已满所引起的，当时为了快速回复，就手动删除了大日志文件。

今天有空就梳理一下问题，为了便于理解，画了一个部署架构图。

二、部署架构图

在这里插入图片描述
分片模式下，三个节点是等价关系，这里只举例其中一个来说。

在这里插入图片描述

[root@mongo_test01 data]# ps -ef | grep mongo
root      6223 14104  0 11:07 pts/0    00:00:00 grep --color=auto mongo
mongo    11016     1  1 Mar27 ?        00:43:37 /usr/local/mongodb-linux-x86_64-rhel70-4.0.27/bin/mongos -f /data/mongodb50000/cnf/mongo50000.cnf
mongo    11497     1  1 Mar27 ?        00:51:45 /usr/local/mongodb-linux-x86_64-rhel70-4.0.27/bin/mongod -f /data/mongodb11000/cnf/mongo11000.cnf
mongo    16436     1  3 Mar27 ?        01:32:02 /usr/local/mongodb-linux-x86_64-rhel70-4.0.27/bin/mongod -f /data/mongodb12000/cnf/mongo12000.cnf
mongo    19133     1  1 10:35 ?        00:00:35 /usr/local/mongodb-linux-x86_64-rhel70-4.0.27/bin/mongod -f /data/mongodb40000/cnf/mongo40000.cnf
mongo    19952     1  2 09:45 ?        00:02:15 /usr/local/mongodb-linux-x86_64-rhel70-4.0.27/bin/mongod -f /data/mongodb10000/cnf/mongo10000.cnf

这里启动了五个进程，每个进程端口对应见上图。

  • 分片服务器，对应端口10000/11000/12000
  • 配置服务器，对应端口40000
  • Mongos路由服务，对应端口50000，外部访问入口

三、详细配置

日志的保存路径和进程ID，见/data/mongodb{端口}/cnf/mongo{端口}.cnf

1、分片服务

因为三个分片配置类同，只是端口号不一样，所以仅以10000端口示例：
在这里插入图片描述

#SERVER
dbpath = /data/mongodb10000/data
logpath = /data/mongodb10000/log/mongo10000.log
pidfilepath = /data/mongodb10000/run/mongo10000.pid
fork = true
port = 10000
quiet = true
logappend = true
journal = true
directoryperdb = true
maxConns = 65536
bind_ip_all = true
transportLayer=asio
serviceExecutor=adaptive#SLOW_LOG
profile = 1
slowms = 500
slowOpSampleRate = 1replSet = sdrs01
oplogSize = 10240
shardsvr = true#USER
keyFile=/data/mongodb10000/cnf/keyFile
setParameter=enableLocalhostAuthBypass=1
setParameter=failIndexKeyTooLong=1storageEngine=wiredTiger
wiredTigerCacheSizeGB=8
wiredTigerCollectionBlockCompressor=snappy
wiredTigerDirectoryForIndexes=true

2、配置服务

复制集的名称是csvrs01，端口为40000，在后面的mongos会用到。
在这里插入图片描述

# cat /data/mongodb40000/cnf/mongo40000.cnf#SERVER
dbpath = /data/mongodb40000/data
logpath = /data/mongodb40000/log/mongo40000.log
pidfilepath = /data/mongodb40000/run/mongo40000.pid
fork = true
port = 40000
quiet = true
logappend = true
maxConns = 65536
directoryperdb = true#SLOW_LOG
profile = 1
slowms = 500
bind_ip_all = trueconfigsvr = true
replSet = csvrs01
storageEngine=wiredTiger
wiredTigerCacheSizeGB=1
oplogSize = 8192#USER
keyFile=/data/mongodb40000/cnf/keyFile
setParameter=enableLocalhostAuthBypass=1

3、Mongos

在这里插入图片描述

这里填写了配置服务列表。另外需要注意一点，它的pid进程号是保存在/data/mongodb50000/run/mongos.pid，而非/data/mongodb50000/run/mongodb50000.pid。

pidfilepath = /data/mongodb50000/run/mongos.pid
logpath = /data/mongodb50000/log/mongos.log
fork = true
port = 50000
quiet = true
logappend = true
maxConns = 20000
bind_ip_all = true
configdb = csvrs01/192.168.10.28:40000,192.168.10.71:40000,192.168.10.72:40000#USER
keyFile=/data/mongodb50000/cnf/keyFile
setParameter=enableLocalhostAuthBypass=1
setParameter=taskExecutorPoolSize=4
setParameter=ShardingTaskExecutorPoolMaxSize=5000

4、初始化副本集

在任意一台机器上使用 mongo 命令行工具连接到任意配置服务器，并初始化副本集sdrs01。

mongo --host 192.168.10.28:40000
use admin
cfg = {_id: "sdrs01",members: [{ _id: 0, host: "192.168.10.71:10000" },{ _id: 1, host: "192.168.10.72:10000" }]
}
rs.initiate(cfg)

以此类推，初始化副本集sdrs02和sdrs03。

mongo --host 192.168.10.28:40000
use admin
cfg = {_id: "sdrs02",members: [{ _id: 0, host: "192.168.10.28:11000" },{ _id: 1, host: "192.168.10.71:11000" }]
}
rs.initiate(cfg)

mongo --host 192.168.10.28:40000
use admin
cfg = {_id: "sdrs03",members: [{ _id: 0, host: "192.168.10.28:12000" },{ _id: 1, host: "192.168.10.72:12000" }]
}
rs.initiate(cfg)

5、添加分片到路由服务器mongos

使用 mongo 命令行工具连接到路由服务器，并添加分片。

mongo --host 192.168.10.28:50000
use admin
sh.addShard("sdrs01/192.168.10.71:10000")
sh.addShard("sdrs01/192.168.10.72:10000")sh.addShard("sdrs02/192.168.10.28:11000")
sh.addShard("sdrs02/192.168.10.71:11000")sh.addShard("sdrs03/192.168.10.28:12000")
sh.addShard("sdrs03/192.168.10.72:12000")

注意，这里每个分片，只选择其中的两个节点作为副本。

6、登录Mongos，查看集群状态

mongo 192.168.10.28:50000 -uroot -p{密码} --authenticationDatabase admin> sh.status()

在这里插入图片描述

shards:{  "_id" : "sdrs01",  "host" : "sdrs01/192.168.10.71:10000,192.168.10.72:10000",  "state" : 1,  "tags" : [ "test.sh1", "sdrs01" ] }{  "_id" : "sdrs02",  "host" : "sdrs02/192.168.10.28:11000,192.168.10.71:11000",  "state" : 1,  "tags" : [ "test.sh2", "sdrs02" ] }{  "_id" : "sdrs03",  "host" : "sdrs03/192.168.10.28:12000,192.168.10.72:12000",  "state" : 1,  "tags" : [ "test.sh3", "sdrs03" ] }

四、未完待续

由于整篇文章比较冗长，我先介绍Mongodb sharding分片集群的搭建及配置详情，顺便梳理了其部署架构， 下文我将介绍其日志治理问题。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://xiahunao.cn/news/2905709.html

如若内容造成侵权/违法违规/事实不符，请联系瞎胡闹网进行投诉反馈，一经查实，立即删除！

相关文章

Qt打印系统库的日志 - QLoggingCategory

Qt打印系统库的日志 - QLoggingCategory

Qt的动态库通过源码可以可以看到含有大量的qCInfo 和 qCDebug 等大量的日志， 但是我们正常运行Qt程序，这些动态库或插件里面的日志是不会输出到我们的控制台里面的。 所以本章主要记录怎么输出这些日志出来。 一： 步骤 主要使用的是Qt的 函…
阅读更多...
ABA分析方法 — 软硬件开发必备的一种分析问题绝佳套路

ABA分析方法 — 软硬件开发必备的一种分析问题绝佳套路

ABA分析方法 “决定我们看到什么，并且看到什么方式的是我们的思维方式。” — 乔治奥威尔 更多精彩内容，请关注公众号《机器灵魂注入师》。 什么是ABA分析方法？ 可能你从很多地方听过这个名词，无论是在软件开发还是硬件领域(比较…
阅读更多...
单片机之串口通信

单片机之串口通信

目录 串口介绍 通信的基本概念 并行通信和串行通信 同步通信和异步通信 串行异步通信方式 串行同步通信方式 通信协议 单片机常见通信接口 串行通信三种模式 串口参数 传输速度 ​串口的连接 电平标准 串行口的组成 串口数据缓冲寄存器 串行口控制寄存器 串口…
阅读更多...
HarmonyOS入门--配置环境 + IDE汉化

HarmonyOS入门--配置环境 + IDE汉化

文章目录 下载安装DevEco Studio配置环境先认识DevEco Studio界面工程目录工程级目录模块级目录 app.json5module.json5main_pages.json通知栏预览区 运行模拟器IED汉化 下载安装DevEco Studio 去官网下载DevEco Studio完了安装 配置环境 打开已安装的DevEco Studio快捷方式…
阅读更多...
33.HarmonyOS App(JAVA)鸿蒙系统app数据库增删改查

33.HarmonyOS App(JAVA)鸿蒙系统app数据库增删改查

33.HarmonyOS App(JAVA)鸿蒙系统app数据库增删改查 关系数据库 关系对象数据库（ORM） 应用偏好数据库 分布式数据库 关系型数据库（Relational Database，RDB）是一种基于关系模型来管理数据的数据库。HarmonyOS关系型…
阅读更多...
阿里云Salesforce CRM功能差异列表 - Winter‘ 24

阿里云Salesforce CRM功能差异列表 - Winter‘ 24

阉割版的阿里云Salesforce由于技术和监管等因素与国际版的Salesforce差距很大！ 一、Winter‘ 24版差异概况： 1.1. 主要版本： 阿里云上的 Salesforce 提供两个版本，用于生产用途的 CN 版本（CN Edition）和用…
阅读更多...
NineData与StarRocks商业化运营公司镜舟科技完成产品兼容认证

NineData与StarRocks商业化运营公司镜舟科技完成产品兼容认证

近日，镜舟科技与NineData完成产品兼容测试。在经过联合测试后，镜舟科技旗下产品与NineData云原生智能数据管理平台完全兼容，整体运行高效稳定。 镜舟科技致力于帮助中国企业构建卓越的数据分析系统，打造独具竞争力的“数据护城河”…
阅读更多...
乐维更改IP地址

乐维更改IP地址

1.1 系统IP调整 vim /etc/sysconfig/network-scripts/ifcfg-ens1921.2 Web相关服务IP变更 1.2.1 编辑/itops/nginx/html/lwjkapp/.env文件，更改ZABBIXSERVER、ZABBIXRPCURL、DB_HOST中的IP 1.2.2 进入/itops/nginx/html/lwjk_app/目录下，执行php bin/manager process-conso…
阅读更多...
VMware虚拟机更换引导顺序

VMware虚拟机更换引导顺序

前言 我用wmware装了黑群晖测试，将img转成vmdisk的格式之后发现系统引导盘之后1G，有点太小了 我准备把wmware的黑群晖系统迁移到新添加的虚拟磁盘里 1.登录黑群晖的SSH 请先在黑群晖的控制面板中的终端机和SNMP里面启用SSH功能，才能使用ss…
阅读更多...
原创度检测工具分享，文章质量检测方便又简单

原创度检测工具分享，文章质量检测方便又简单

文章检测有利于我们了解文章内容的质量高低，而在以往我们检测文章只能依靠手动去检测，这是相当消耗工作时间的，但是在原创度检测工具出来之后，很多人开始检测文章质量就改用原创度检测工具了，因为使用原创度检测工具是…
阅读更多...
睿尔曼超轻量仿人机械臂之复合机器人底盘介绍及接口调用

睿尔曼超轻量仿人机械臂之复合机器人底盘介绍及接口调用

机器人移动平台是一个包含完整成熟的感知、认知和定位导航能力的轮式机器人底盘产品级平台，产品致力于为各行业细分市场的商用轮式服务机器人提供一站式移动机器人解决方案，让合作伙伴专注在核心业务/人机交互的实现。以下是我司产品双臂机器人以及复合升…
阅读更多...
亚马逊云科技如何看待云计算产业在硬件方面的创新趋势

亚马逊云科技如何看待云计算产业在硬件方面的创新趋势

“真正认真对待软件的人应该制造自己的硬件。” 这是被称为个人电脑之父的艾伦凯博士的一句广为流传的言论。 这种趋势正在云计算行业发生。 目前，全球主流云计算厂商均已加入自研芯片的行列。 如果追溯这一趋势的发展，亚马逊云技术无疑是领先者。 在r…
阅读更多...
酒店能源监测管理系统：实现节能减排与提升管理效率的利器

酒店能源监测管理系统：实现节能减排与提升管理效率的利器

随着全球能源问题的日益突出和可持续发展理念的深入人心，酒店业也在积极探索节能减排的途径。在这一背景下，酒店能源监测管理系统应运而生，成为了酒店行业提升管理效率、降低能源消耗的重要工具。本文将从多个角度介绍酒店能源监测管理系统的…
阅读更多...
Nagios工具

Nagios工具

一 nagios 相关概念 Nagios 是一款开源的免费网络监视工具，能有效监控 Windows、Linux 和 Unix 的主机状态，交换机路由器等网络设置，打印机等。在系统或服务状态异常时发出邮件或短信报警第 一时间通知网站运维人员，在状态恢复后…
阅读更多...
2. Java基本语法

2. Java基本语法

文章目录 2. Java基本语法2.1 关键字保留字2.1.1 关键字2.1.2 保留字2.1.3 标识符2.1.4 Java中的名称命名规范 2.2 变量2.2.1 分类2.2.2 整型变量2.2.3 浮点型2.2.4 字符型 char2.2.5 Unicode编码2.2.6 UTF-82.2.7 boolean类型 2.3 基本数据类型转换2.3.1 自动类型转换2.2.2 强…
阅读更多...
ES学习日记(二)-------集群设置

ES学习日记(二)-------集群设置

上一节写了elasticsearch单节点安装和配置,现在说集群,简单地说就是在多台服务器上搭建单节点,在配置文件里面增加多个ip地址即可,过程同单节点部署,主要说集群配置 注意:不建议在之前单节点es上修改配置为集群,据说运行之后会生成很多文件,在单点基础上修改容易出现未知问题,…
阅读更多...
SAP BTP云上一个JVM与DB Connection纠缠的案例

SAP BTP云上一个JVM与DB Connection纠缠的案例

前言 最近在CF (Cloud Foundry) 云平台上遇到一个比较经典的案例。因为牵扯到JVM （app进程）与数据库连接两大块，稍有不慎，很容易引起不快。 在云环境下，有时候相互扯皮的事蛮多。如果是DB的问题，就会找DB…
阅读更多...
03 | Swoole 源码分析之 Http Server 模块

03 | Swoole 源码分析之 Http Server 模块

首发原文链接：Swoole 源码分析之 Http Server 模块 大家好，我是码农先森。 Http 模块的注册初始化 这次我们分析的就是 Swoole 官网的这段代码，看似简单，实则不简单。 在 Swoole 源码文件 swoole_http_server.c 中有这样一个函数…
阅读更多...
【Redis】数据类型、事务执行、内存淘汰策略

【Redis】数据类型、事务执行、内存淘汰策略

目录 数据类型 Redis事务执行步骤 步骤： redis内存淘汰策略 设置内存淘汰策略 1.设置配置文件 2.通过命令设置 数据类型 官网解释 Understand Redis data types | Redis 首先，Redis 的所有键都是字符串,常用的数据类型有 5 种：Strin…
阅读更多...
docker-compose mysql

docker-compose mysql

使用docker-compose 部署 MySQL（所有版本通用） 一、拉取MySQL镜像 我这里使用的是MySQL8.0.18，可以自行选择需要的版本。 docker pull mysql:8.0.18二、创建挂载目录 mkdir -p /data/mysql8/log mkdir -p /data/mysql8/data mkdir -p /dat…
阅读更多...
最新文章

Copyright @ 2022~2023