目的：分享一下公司的db故障處理流程，主要是思想。
事件描述及影響：
2018年9月30日04:43點，zabbix告警odsdb2數據庫疑似宕機，機房值班人員通過堡壘機無法登錄數據庫服務器，從其他機器也無法ssh登錄該機器，同時odsdb1數據庫也HANG住，通過命令無法登錄數據庫。根據數據庫業務流程圖初步分析影響的各業務。（涉及公司業務可忽略）

成都創新互聯公司公司2013年成立，先為秀山土家族苗族等服務建站，秀山土家族苗族等地企業，進行企業商務咨詢服務。為秀山土家族苗族企業網站制作PC+手機+微官網三網同步一站式服務解決您的所有建站問題。

事件排查：
4:46，機房值班人員通知DBA及亦莊值班人員分析情況
4:57，按照公司流程在相關群通告故障
5:23，值班人員反應數據庫服務器已自動重啟，但一直卡在啟動界面
5:30，DBA到達現場協助問題排查
5:39，DBA發現ogg進程無法正常啟動，原因是數據庫連接進程達到上限(3000)，數據庫無法連接
6:03, 數據分析室人員參與分析ODS問題，確認ods 1節點數據庫HANG住
6:56，機房值班人員嘗試手動重啟odsdb2服務器，仍然卡在啟動界面
7:40，嘗試通過封堵應用連接數據庫的端口的方式，減少應用連接數據庫的連接數
8:30，聯系HP廠商報障
9:20，kill odsdb1數據庫所有的外部連接（先保障主要業務）
9:30，對odsdb1數據庫做hang analyze，分析數據庫HANG住的原因
10:11，重啟oddsdb1數據庫實例
10:28，odsdb1恢復正常
10:30，ogg進程恢復正常
10:40，放開過封堵應用的端口

事件分析：
1、 odsdb2節點宕機重啟，且無法啟動，一直卡在啟動界面，懷疑由于數據庫硬件問題導致數據庫宕機重啟。通知服務器廠商進行報障

2、 odsdb1數據庫HANG住無法正常提供服務，導致與ods數據庫相關的所有應用及ogg受到影響
3、 odsdb1達到設置的大連接進程數(3000)，導致數據庫無法登錄，無法分析情況。

4、 分析哪個應用服務器連接ods數據庫，封堵其連接數據庫的端口，減少數據庫的外部連接

5、 數據庫無法登錄，需要kill odsdb1數據庫所有的外部連接后，可以登錄數據庫，但數據字典查詢緩慢，無法正常分析hang住的原因。且kill掉外部連接后，很快連接數又會漲到大值。使用hang analyze做trace進行分析。

通過hang analyze分析，數據庫是由于gc domain validation 及parallel recory coord wait for reply。
這兩個等待事件是數據庫節點2宕機后，節點1要接管節點2的服務，回滾節點2上未提交的數據，恢復節點2的數據時的等待事件。

從上圖的的信息可以知道，SMON進程在進行節點2的數據恢復，但是等待了289min41sec。且該進行阻塞了1456個進程sessions，由些可以知道節點1是在恢復節點2的數據時SMON進程異常，導致數據庫1456個進程被阻塞。
查詢Oracle官方網站MOS，發現與gc domain validation相關的一些BUG

6、 重啟數據庫，數據庫恢復正常，可以對外提供服務。進而ODS相關的應用也都恢復正常。

后續的優化方案：
1、定期對數據庫進行硬件檢查防止此類問題再次發生（節后與數據中心溝通，爭取每月做一次檢查）
2、后續增加對ODS數據庫的切換應急演練

另外有需要云服務器可以了解下創新互聯cdcxhl.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業上云的綜合解決方案，具有“安全穩定、簡單易用、服務可用性高、性價比高”等特點與優勢，專為企業上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

本文名稱：Oracle_RAC宕機和hang分析處理流程-創新互聯
當前地址：http://vcdvsql.cn/article24/cdjije.html

成都網站建設公司_創新互聯，為您提供小程序開發、網站維護、網頁設計公司、服務器托管、軟件開發、用戶體驗

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯