問題:

每天在9點15分左右，運維人員會收到大量的zabbix_server報警郵件，提示 "PROBLEM: Zabbix agent on XXX is unreachable for 5 minutes"

目前創新互聯已為上千家的企業提供了網站建設、域名、網頁空間、網站托管、服務器托管、企業網站設計、永嘉網站維護等服務，公司將堅持客戶導向、應用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協力一起成長，共同發展。

排查過程：

從9點之前的系統運行狀態開始查起。

1、查看9點左右的zabbix_server.log。沒有發現異常。

2、在zabbix server上寫了一個計劃任務 56 8 * * * /bin/ping one_agent_IP>> /tmp/net_status.log

通過ping agent端的ip，判斷是否網絡抖動導致agent unreachable的。

但是，第二天/tmp/net_status_log的日志顯示ping沒有丟包問題。排除了網絡抖動問題。

3、查看9點左右的計劃任務，發現9點時候在執行了一個backup.sh，看到里面mysqldump的備份參數如下：

mysqldump --force --opt -uxxx -pxxx  zabbix | gzip > xxxx.sql.gz

至此，可以基本判斷是這個備份數據庫操作導致的zabbixserver告警。

原因：

這里先看下上面mysqldump的幾個參數，

 --opt    Same as --add-drop-table,--add-locks, --create-options,

        --quick,--extended-insert, --lock-tables,--set-charset,

        and --disable-keys.Enabled by default, disable with

        --skip-opt.

 -f, --force    Continue even if we get an SQL error.

其中，--opt里面包含了一堆的參數，這里最關鍵的是 --lock-tables，mysql5.6官方手冊上的解釋如下：

--lock-tables, -l

For eachdumped database, lock all tables to be dumped before dumping them. The tablesare

lockedwith READ LOCAL to permit concurrent inserts in the case of MyISAM tables. For transactional

tables such as InnoDB,--single-transaction is a much better option than --lock-tables

because it does not need tolock the tables at all.

Because--lock-tables locks tables for each database separately, this option does notguarantee

that thetables in the dump file are logically consistent between databases. Tables indifferent

databasesmay be dumped in completely different states.

Someoptions, such as --opt, automatically enable --lock-tables. If you want tooverride this,

use--skip-lock-tables at the end of the option list.

官方建議在InnoDB存儲引擎時候，使用 --single-transaction，而不要用 --lock-tables，因為--lock-tables會造成鎖表的問題。

在搭配--single-transaction 參數后，會在FLUSH TABLES WITH READ LOCK 后添加START TRANSACTION 語句，將事務的隔離級別設置為REPEATABLE READ ，這個時候的加鎖，僅僅是為了確定master-data中的binlog的具體位置和開啟事務，開啟事務后，就已經把讀鎖釋放了，而且在由日志可以看出，在日志的回滾過程中，是回滾到單一的TRANSACTION，也是sp點，每次進行對表和參數的改動后，都會對事務進行回滾。通過對備份log的分析，可以發現，所有的的備份階段完成后，都是rollback到sp點的。也就是返回到SAVEPOINT sp時間點，也就是備份完成后，實際上備份庫仍然是在sp點，而這個所謂的sp回滾，其實是調用的undo中的數據快照來實現的。（就是說9點鐘執行的備份，最終我們備份出的數據就是9點的數據，備份過程中數據的變化不會寫入到備份文件里）。

如下圖是執行 mysqldump -q --single-transaction -B zabbix > test.sql 時候的mysql的general log日志。

備份時候，使用了--opt參數會暫時鎖表，zabbix_agent收集到的數據無法及時寫入數據庫，zabbix_server在長時間沒有發現收集到agent的數據，就會觸發告警。

我們只要改下備份的參數即可，mysqldump -uxx -pxx -f -q--single-transaction -B zabbix | gzip > xxxx.sql.gz

另外，對于Innodb存儲引擎的表，建議在使用mysqldump備份時候都要加上 -q --single-transaction 參數。

另外有需要云服務器可以了解下創新互聯cdcxhl.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業上云的綜合解決方案，具有“安全穩定、簡單易用、服務可用性高、性價比高”等特點與優勢，專為企業上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

網頁名稱：數據庫備份導致的zabbix_server大量告警的問題排查-創新互聯
本文路徑：http://vcdvsql.cn/article10/cscddo.html

成都網站建設公司_創新互聯，為您提供網站營銷、網站排名、搜索引擎優化、Google、手機網站建設、網站制作

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯