CRS报CRS-2409告警信息问题分析与处理
发布日期:2021-09-16 04:38:50 浏览次数:45 分类:技术文章

本文共 5115 字,大约阅读时间需要 17 分钟。

CRS报CRS-2409告警信息问题分析与处理
 
    ORACLE 11.2.0.3
 
1、报错信息
检查第1节点的CRS alert log,发现存在有下面异常信息
2013-0X-XX 19:27:17.609
[ctssd(18809056)]CRS-2409:The clock on host XXXdb1 is not synchronous with the mean cluster time. No action has been taken as the Cluster Time Synchronization Service is running in observer mode.
2013-0X-XX 19:59:42.312
[ctssd(18809056)]CRS-2409:The clock on host XXXdb1 is not synchronous with the mean cluster time. No action has been taken as the Cluster Time Synchronization Service is running in observer mode.
上面报错的意思是,ORACLE的CTSSD服务发现异常,不能处于观察模式
 
2、报错信息问题分析
2.1、操作 的NTPD服务处于启动状态,CTSSD就不会工作,但是只要CTSSD服务启动,正常情况下应该处于观察模式
2.2、当前OS的NTPD服务正在运行,并且,CTSSD不能处于观察模式运行
 
3、排查过程
3.1、检查两个节点的时间是否存在差异
1
2
3
4
5
XXXdb1:/u01/app/11.2.0.3/grid/log/XXXdb1$ssh XXXdb2
date
Mon Jul 15 20:30:17 GMT+08:00 2013
 
XXXdb1:/u01/app/11.2.0.3/grid/log/XXXdb1$
date
Mon Jul 15 20:30:18 GMT+08:00 2013

 

经检查,时间不存在差异
 
3.2、检查OS的NTPD服务
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
XXXdb1:/# lssrc -ls xntpd
 
Program
name
:    /usr/sbin/xntpd
 
Version:         3
 
Leap indicator:  00 (
No
leap
second
today.)
 
Sys peer:        10.XXX.XXX.71
 
Sys stratum:     2
 
Sys
precision
:   -18
 
Debug/Tracing:   DISABLED
 
Root distance:   0.000397
 
Root dispersion: 0.013458
 
Reference ID:    10.XXX.XXX.71
 
Reference
time
:  d58e6e41.d0fca000  Mon, Jul 15 2013 20:49:05.816
 
Broadcast delay: 0.003906 (sec)
 
Auth delay:      0.000122 (sec)
 
System flags:    bclient auth pll monitor filegen
 
System uptime:   30149695 (sec)
 
Clock stability: 0.047607 (sec)
 
Clock frequency: 0.000000 (sec)
 
Peer: 10.XXX.XXX.71
      
flags: (configured)(sys peer)
      
stratum:  1, version: 3
      
our mode: client, his mode: server
Subsystem        
Group           
PID          Status
 
xntpd            tcpip            4128900      active

 

经检查两个节点,OS层的NTPD都在运行,并且可以做时间同步
 
3.3、检查ctssd的运行情况
1
2
3
4
5
6
XXXdb1:/#su - grid
XXXdb1:/home/grid$ crsctl stat res ora.ctssd -init
NAME
=ora.ctssd
TYPE=ora.ctss.type
TARGET=ONLINE
STATE=ONLINE
on
XXXdb1

 

经检查两个节点,CTSSD服务都已经启动
 
3.4、借助CRS的cluvfy工具诊断CTSS错误的原因
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
XXXdb1:/home/grid$cluvfy comp clocksync -n
all
-verbose
 
Verifying Clock Synchronization across the cluster nodes
 
Checking if Clusterware
is
installed
on
all
nodes...
Check
of
Clusterware install passed
 
Checking if CTSS Resource
is
running
on
all
nodes...
Check
: CTSS Resource running
on
all
nodes
  
Node
Name                            
Status                
  
------------------------------------  ------------------------
  
XXXdb2                                passed                
  
XXXdb1                                passed                
Result: CTSS resource
check
passed
 
Querying CTSS
for
time
offset
on
all
nodes...
Result: Query
of
CTSS
for
time
offset passed
 
Check
CTSS state started...
Check
: CTSS state
  
Node
Name                            
State                 
  
------------------------------------  ------------------------
  
XXXdb2                                Observer              
  
XXXdb1                                Observer              
CTSS
is
in
Observer state. Switching over
to
clock synchronization checks using NTP
 
Starting Clock synchronization checks using Network
Time
Protocol(NTP)...
 
NTP Configuration file
check
started...
The NTP configuration file
"/etc/ntp.conf"
is
available
on
all
nodes
NTP Configuration file
check
passed
……
Checking NTP daemon command line
for
slewing
option
"-x"
Check
: NTP daemon command line
  
Node
Name                            
Slewing
Option
Set
?   
  
------------------------------------  ------------------------
  
XXXdb2                               
no                    
  
XXXdb1                               
no                    
Result:
NTP daemon slewing
option
check
failed
on
some
nodes
PRVF-5436 : The NTP daemon running
on
one
or
more nodes lacks the slewing
option
"-x"
Result: Clock synchronization
check
using Network
Time
Protocol(NTP) failed

 

见上面标红色字体部分,在做NTP slewingoption时,两个节点都不通过,原因为,NTP没有运行在“-X”模式
 
3.5、检查OS层NTPD的配置
(1)检查/etc/ntpd.conf
1
2
3
4
server 10.XXX.XXX.71
broadcastclient
driftfile /etc/ntp.drift
tracefile /etc/ntp.trace

 

(2)检查/etc/rc.tcpip文件的配置
存在有下面信息:
1
2
# Start up Network
Time
Protocol (NTP) daemon
start /usr/sbin/xntpd
"$src_running"
-a
"-x"

 

 
  看来配置不存在问题,但当前运行却不处于”-x”模式,很有可能是NTPD被重启过,启动时没有加上个”-x”参数
 
4、问题处理方法   (两个节点都执行)
1
2
3
4
5
6
7
8
4.1、停用CTSSD   (grid用户执行)
$ crsctl stat resource ora.ctssd -init
4.2、停止NTPD  (root用户执行)
# stopsrc -s xntpd
4.3、启动NTPD,加入“-x”模式  (root用户执行,启动需要几分钟时间)
# startsrc -s xntpd -a
"-x"
 
4.4、启动CTSSD  (grid用户执行)
$ crsctl start resource ora.ctssd -init

 linux 系统vi /etc/sysconfig/ntpd  入-x选项

OPTIONS="-x -u ntp:ntp -p /var/run/ntpd.pid -g"

 
5、问题解决验证
5.1、启动CTSSD后CTSD日志记录信息
1
2
3
4
5
6
2013-XX-XX 19:18:00.427
[ctssd(6357170)]CRS-2403:The Cluster
Time
Synchronization Service
on
host XXXdb1
is
in
observer mode.
2013-XX-XX 19:18:00.888
[ctssd(6357170)]CRS-2407:The new Cluster
Time
Synchronization Service reference node
is
host XXXdb2.
2013-08-08 19:18:00.890
[ctssd(6357170)]CRS-2401:The Cluster
Time
Synchronization Service started
on
host XXXdb1.

 

  
5.2、借助CRS的cluvfy工具验证CTSS环境是否全部正常
1
2
3
4
5
6
7
8
XXXdb1:/#su - grid
XXXdb1:/home/grid$ cluvfy comp clocksync -n
all
-verbose
……..(为了节省篇幅,把正常的都省略)
Check
for
NTP daemon
or
service using UDP port 123
  
Node
Name                            
Port
Open
?            
  
------------------------------------  ------------------------
  
XXXdb2                                yes                   
  
XXXdb1                                yes
  
 
Result: Clock synchronization check using Network Time Protocol(NTP) passed
 Cluster Time Synchronization Services check passed
Verification of Clock Synchronization across the cluster nodes was successful.
从上面检查信息看到,以前不正的项目现在全部正常,检查通过。

转载地址:https://blog.csdn.net/wll_1017/article/details/53582200 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:mysqldmp 参数之--skip-opt 与--opt
下一篇:批处理备份及删除,forfiles命令详解

发表评论

最新留言

初次前来,多多关照!
[***.217.46.12]2024年03月21日 06时23分44秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

推荐文章

热敏打印_热敏打印机需要碳带吗? 2019-04-21
点击屏幕触发_Flutter 中文文档:点击、拖动和其他手势 2019-04-21
怎么解决_壁挂炉出现e2是怎么回事?一般怎么解决? 2019-04-21
内容换行_内容换行或分段不会影响到SEO优化和搜索引擎收录抓取 2019-04-21
图形化分析工具_酷炫!一款 Go 语言实现的实时图形化分析的性能测试工具 2019-04-21
发动机冷启动和热启动的区别_柴油发动机冬季启动3招小窍门 2019-04-21
怎样将图片弄成白底的_做跨境电商想拍出爆款产品图片,我只用这五招 2019-04-21
苹果手机如何分享安装包_苹果手机显示 Apple ID 被停用该如何恢复? 2019-04-21
python采用单例模式游戏_Python单例模式(Singleton)的N种实现 2019-04-21
python安装第三方库方法_Python安装第三方库的3种方法 2019-04-21
因果信号的傅里叶变换_常用信号的傅里叶变换对 2019-04-21
java中random方法取值范围_Java Random.nextInt()方法,随机产生某个范围内的整数 2019-04-21
java判断题_java判断题 2019-04-21
java算法应用_看得见的算法(java源码)-7个经典应用诠释算法精髓 2019-04-21
java的min函数_java 包含min函数的栈 2019-04-21
jquery java jsonp_JSONP原理及JQUERY JSONP的使用 2019-04-21
html生成jsessionid,H5 APP 使用 JSESSIONID 保持会话登录 2019-04-21
大数据可视化陈为智慧树_知到智慧树大数据可视化网课答案 2019-04-21
前端背景图放置_web前端入门到实战:css 中的背景图片小技巧和存在的坑 2019-04-21
wordpress账号无法登陆_苦闷两个月,wordpress后台不能登陆的问题终于解决了! 2019-04-21