scr系统常见故障及解决办法(故障分析从一则)
scr系统常见故障及解决办法(故障分析从一则)
2024-11-06 05:06:39  作者:踏梦女顽童  网址:https://m.xinb2b.cn/life/cnq274553.html

作者:李锡超

一个爱笑的江苏苏宁银行 数据库工程师,主要负责数据库日常运维、自动化建设、DMP平台运维。擅长mysql、Python、Oracle,爱好骑行、研究技术。

本文来源:原创投稿

*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。

1. 问题现象:

9月15日,收到告警提示测试环境某系统的 MySQL MGR 集群存在异常。

日志内容如下:

// 10.x.y.97 节点MySQL 错误日志提示节点 10.x.y.95 不可达:2022-09-15T19:26:14.320181 08:00 0 "Warning" "MY-011493" "Repl" Plugin group_replication reported: "Member with address 10.x.y.95:3306 has become unreachable." // 随后mgraliver(MGR 探针)日志提示进行了切换:"2022-09-15 19:26:16" : Exception: Invalid primary_member_ip: or secondary_node_list:""10.x.y.96", "10.x.y.97"" ."2022-09-15 19:26:16" : Exception: MGR is likely to be switching, Sleep 1 sec and continue ."2022-09-15 19:27:01" : Exception: MGR running with WARN. ONLINE nodes Pri:10.x.y.96 Sec:10.x.y.97 diff from conf_node:10.x.y.95,10.x.y.96,10.x.y.97 .

即告警提示应用系统 MySQL MGR 发生了切换,由故障前的三节点 MGR 集群,切换为包括 Pri:10.x.y.96 Sec:10.x.y.97 两个节点集群。

2. 初步分析

收到告警后,通过分析MySQL错误日志、操作系统系统、监控日志等信息,发现操作系统的时间存在异常:

具体异常截图,如下图:


即:存在【Time has been changed 】异常。

结合mysql官方文档说明:其明确说明其故障检测基于时间:

如果一个成员在 5 秒内没有收到另一个成员的消息,则怀疑该成员发生故障,并在自己的 Performance Schema 表 replication_group_members 中将该成员的状态列为 UNREACHABLE。如果怀疑持续超过 10 秒,则怀疑成员会尝试将其认为可疑成员有错误的观点传播给该组的其他成员。 具体参考:https://dev.mysql.com/doc/refman/8.0/en/group-replication-responses-failure.html

由此初步怀疑是操作系统的时间发生了跳变,触发MySQL MGR发生故障切换。

并将相关异常,反馈系统系统管理部相关老师进行进一步确认。

3. 根本原因

经过系统专家深入分析,确认其根本原因是由于问题时段服务器底层存在异常。

导致 19:27:13左右 虚拟机发生挂起(此时虚拟机的任何操作都不能进行,包括监控脚本、时间、MGR的心跳等)。

虚拟机挂起后,由于除故障节点外的其它两个节点无法与故障节点进行通信,因此认为该节点存在异常并将其驱逐。并最终产生如上告警信息。

至此,该问题得到最终确认。

4. 关于时间对MGR的影响

既然该问题最终确认是由于虚拟机挂起导致主节点被驱逐。那么如果不是挂起,只是虚拟机的时间发生跳变,那还会触发故障切换么??

为此,通过测试环境进行了测试,其测试结论为:

当MGR集群中一个节点时间发生变化后(比如突然快了1小时、慢了1小时),MGR集群的同步状态并不会因此受到影响。error_log 里面也未看到明显的报错!

即:MGR 节点的时间异常,并不会触发MGR发生故障切换。

那具体是什么机制呢??为此结合源码进行确认!!

5. 我们知道,源码中涉及节点间探测,主要包括如下函数(alive_task/detector_task):

函数总体调用关系:

alive_task task_now may_be_dead task_nowdetector_task check_global_node_set DETECT task_now check_local_node_set DETECT task_now// alive_task :int alive_task(task_arg arg MY_ATTRIBUTE((unused))) { while (!xcom_shutdown) { .. // 超过0.5秒,广播我是 alive f (server_active(site, get_nodeno(site)) < task_now() - 0.5) { replace_pax_msg(&ep->i_p, pax_msg_new(alive_synode, site)); ep->i_p->op = i_am_alive_op; send_to_all_site(site, ep->i_p, "alive_task"); } ... { double sec = task_now(); // 超过4秒没有心跳,询问你是否活着 if (i != get_nodeno(site) && may_be_dead(site->detected, i, sec)) { replace_pax_msg(&ep->you_p, pax_msg_new(alive_synode, site)); ep->you_p->op = are_you_alive_op; ep->you_p->a = new_app_data(); ep->you_p->a->app_key.group_id = ep->you_p->a->group_id = get_group_id(site); ep->you_p->a->body.c_t = xcom_boot_type; init_node_list(1, &site->nodes.node_list_val[i], &ep->you_p->a->body.app_u_u.nodes); send_server_msg(site, i, ep->you_p); } } TASK_DELAY(1.0); }}// DETECT #define DETECTOR_LIVE_TIMEOUT 5.0 // 判断心跳是否超时 #define DETECT(site, i) \ (i == get_nodeno(site)) || \ (site->detected[i] DETECTOR_LIVE_TIMEOUT > task_now())static void check_global_node_set(site_def *site, int *notify) { u_int i; u_int nodes = get_maxnodes(site); site->global_node_count = 0; for (i = 0; i < nodes && i < site->global_node_set.node_set_len; i ) { int detect = DETECT(site, i); if (site->global_node_set.node_set_val[i]) site->global_node_count ; // 本次捕获的心跳状态,则表示有节点心跳突变: 无心跳->有心跳 有心跳->无心跳 if (site->global_node_set.node_set_val[i] != detect) { // 需要通知全局状态发生变化 *notify = 1; } DBGOHK(FN; NDBG(i, u); NDBG(*notify, d)); }}static void check_local_node_set(site_def *site, int *notify) { u_int i; u_int nodes = get_maxnodes(site); for (i = 0; i < nodes && i < site->global_node_set.node_set_len; i ) { int detect = DETECT(site, i); // 本次捕获的心跳状态,则表示有节点心跳突变: 无心跳->有心跳 有心跳->无心跳 if (site->local_node_set.node_set_val[i] != detect) { site->local_node_set.node_set_val[i] = detect; // 需要通知本地识别到可疑节点 *notify = 1; } DBGOHK(FN; NDBG(i, u); NDBG(*notify, d)); }}// detector_taskint detector_task(task_arg arg [[maybe_unused]]) { while (!xcom_shutdown) { { site_def *x_site = get_executor_site_rw(); if (x_site && get_nodeno(x_site) != VOID_NODE_NO) { if (x_site != last_x_site) { reset_disjunct_servers(last_x_site, x_site); } update_detected(x_site); if (x_site != last_x_site) { last_x_site = x_site; ep->notify = 1; ep->local_notify = 1; } check_global_node_set(x_site, &ep->notify); //判断是否有节点心跳超时,需要发起全局view变更通知 update_global_count(x_site); //更新全局节点个数 if (ep->notify && iamtheleader(x_site) && enough_live_nodes(x_site)) { ep->notify = 0; send_my_view(x_site);//如果有节点心跳异常,且当前节点是0号主节点,且多数派的节点存活, 则发送视图变更通知,即驱逐心跳异常节点,并处理新节点加入或老节点退出 } } if (x_site && get_nodeno(x_site) != VOID_NODE_NO) { update_global_count(x_site); //更新全局节点个数 check_local_node_set(x_site, &ep->local_notify);//判断是否有节点心跳超时,需要发起suspicion操作 if (ep->local_notify) { ep->local_notify = 0; deliver_view_msg(x_site); //驱逐心跳异常节点 } } } TIMED_TASK_WAIT(&detector_wait, 1.0); } }}

重点

通过阅读以上代码,可知函数 alive_task/detector_task 都通过 task_now() 获取当前时间,并进行判断是否超过对应的阈值。 那么进一步分析 task_now() 逻辑如下:

task_now xcom_init_clock xcom_monotonic_secondssecondsstatic void xcom_init_clock(xcom_clock *clock) { // 调用Linux 的 clock_gettime 函数,获取从系统启动时开始计时,以秒为单位(小于1秒以小数表示)。该时间不受系统影响,也不会被用户改变。 clock->monotonic_start = get_monotonic_time(); // 调用Linux 的 clock_gettime 函数,获取系统时间(如date),以秒为单位(小于1秒以小数表示)。该时间随着系统时间的改变而改变。 clock->real_start = get_real_time(); // 计算系统时间与启动计时的差值(offset) clock->offset = clock->real_start - clock->monotonic_start; // 通过差值 启动计时,得到时间。 xcom_monotonic_seconds(clock); // 修改计算标记为1。此后,只要MGR正常运行,MGR节点所获取时间等于=此处获取的差值(offset) 启动计时。 // 因此,无论系统时间如何变化,MGR都将获取“正确”的时间。 // 具体逻辑见如下代码: clock->done = 1;}static double xcom_monotonic_seconds(xcom_clock *clock) { // 初始化时获取的差值(offset) 启动计时。 clock->now = get_monotonic_time() clock->offset; return clock->now;}// 后续其它操作获取时间的函数:double seconds() { // 当第一步初始化后,!task_timer.done 始终未false if (!task_timer.done) { , xcom_init_clock(&task_timer); } // 因此初始化之后调用seconds()返回 :xcom_monotonic_seconds(&task_timer) return xcom_monotonic_seconds(&task_timer);}double task_now() { // 当第一步初始化后,!task_timer.done 始终未false。 if (!task_timer.done) { xcom_init_clock(&task_timer); } // 直接返回计算的 task_timer.now return task_timer.now;}对于 task_timer.now,通过跟踪发现多个逻辑都在调用,部分位置参考,如下代码栈:

6. debug 验证记录

基于如上代码分析,总结如下:

1). MGR 集群中获取时间=初始化时获取的固定差值(offset) 启动计时。由于offset是不变的值,启动计时在OS正常运行时,是一个恒定增加的数字。 即MGR集群心跳的时间不受系统时间的控制。因此在步骤3,进行测试时,未发现MGR集群存在异常。也确认本次故障确实不是由于时间发生变化而引起。

  • nba历年状元有没有科比(盘点NBA选秀13顺位科比封神)
  • 2024-11-06盘点NBA选秀13顺位科比封神13这个数字在欧美国家并不讨好,就像宴会要避开13人13道菜,而位于13楼的楼层也会相对于其他楼层要便宜不少但是偏偏在NBA的选秀13顺位,诞生了一位历史级别的球星,科比布莱恩特,历史第二分位那么今天。
  • 劳斯莱斯古斯特贵还是幻影(不懂土豪的世界)
  • 2024-11-06不懂土豪的世界没有哪个车企跟钱过不去的随着这些年中国汽车市场的需求爆发,越来越多的国外车企重视中国市场顶级豪车品牌也不例外,譬如劳斯莱斯,眼看中国土豪扫购奢侈品不眨眼,这钱不赚白不赚,去年就顺势推出过一款限量版古斯。
  • 英国景观园简介(英国15个最宜居城镇)
  • 2024-11-06英国15个最宜居城镇原创梅雪蒙英伦财富2021-01-31英国房产市场正在经历“疫情变革”,越来越多购居家房者开始重新评估居住的方式和地点:充足的室外空间成了很多人心中必不可少的要素近日,英国房产搜索公司Garringt。
  • 台式血压计是怎么使用呢(手把手教你使用台式血压计)
  • 2024-11-06手把手教你使用台式血压计掌握正确的测量方法1、测量前1小时内避免剧烈运动、进食、吸烟,喝含咖啡的饮料或浓茶2、排空小便,放松精神,至少安静休息5分钟3、上臂裸露或者着一件薄内衣,手臂肌肉放松,手掌向上平伸,不要紧握拳头测量前。
  • 地球演化过程突变点(地球宜居性演化重要转折期发生了什么)
  • 2024-11-06地球宜居性演化重要转折期发生了什么埃迪卡拉纪是介于以极端冰期为特征的成冰纪和以寒武纪大爆发为特征的寒武纪之间的地质年代在这一时期,地球上发生了史上规模最大的海洋碳同位素负异常事件对于该事件的具体发生时间、成因机制等,学术界一直有较大争。
  • 专科生能直接报研究生吗(大专可以报考研究生吗)
  • 2024-11-06大专可以报考研究生吗目前在浙江大专可以读研吗?在这个社会发展的今天,研究生考试仿佛早已成为文凭的一个关键准则,要想考上硕士研究生就属于优秀人才,别的就不算什么了因此,对于传统的学生来说,研究生考试是未来的总体目标但是今天。
  • 电视剧总裁老爸二婚(亿万身家女总裁)
  • 2024-11-06亿万身家女总裁女孩养鸭被强拆与亿万女总裁结仇一个亿万身家的海归女富婆小保姆在主家疯狂大笑,却对家里的女保姆言听计从,而且保姆还是个土里士气,老保姆看不下去满嘴粗话的乡村疯丫头,你是来打工的语气温和,娜娜去吧一起早睡。
  • 济公之降龙战士什么时候上映(济公之降龙有悔燃爆春节档)
  • 2024-11-06济公之降龙有悔燃爆春节档春节假期刚过,复工第一天大家讨论最多的依旧是春节档电影春节期间各大社交APP的开屏广告几乎被电影宣传包圆,看电影过大年成为风潮,因此2019年春节档也被称为最挤春节档精彩纷呈的春节档中,由爱奇艺和二友。
  • 瓜叶菊刚发芽的小苗可扦插吗(瓜叶菊品种变异)
  • 2024-11-06瓜叶菊品种变异简介:瓜叶菊又名“富贵菊”,是一种多年生的宿根草本花卉;但是为了提高观赏的性能,一般当做一、二年生的花卉栽培根据株型特点,以及生长特点,被分类到菊科瓜叶菊属自然花期主要分布于1~4月份,等到色彩鲜艳的。