云計算
一、Docker的監(jiān)控 (1)docker自帶的監(jiān)控命令博文大綱:
托里網(wǎng)站制作公司哪家好,找創(chuàng)新互聯(lián)!從網(wǎng)頁設(shè)計、網(wǎng)站建設(shè)、微信開發(fā)、APP開發(fā)、響應(yīng)式網(wǎng)站建設(shè)等網(wǎng)站項目制作,到程序開發(fā),運(yùn)營維護(hù)。創(chuàng)新互聯(lián)成立與2013年到現(xiàn)在10年的時間,我們擁有了豐富的建站經(jīng)驗和運(yùn)維經(jīng)驗,來保證我們的工作的順利進(jìn)行。專注于網(wǎng)站建設(shè)就選創(chuàng)新互聯(lián)。
一、Docker的監(jiān)控
二、prometheus簡介
三、Prometheus組成及架構(gòu)
四、部署prometheus
1)環(huán)境準(zhǔn)備
2)部署prometheus
3)配置Peometheus監(jiān)控實現(xiàn)報警
[root@localhost ~]# docker top wordpress_wordprss_1 //查看容器的使用狀態(tài)
UID PID PPID C STIME TTY TIME CMD
root 5601 5569 0 20:53 ? 00:00:00 apache2 -DFOREGROUND
33 6073 5601 0 20:54 ? 00:00:00 apache2 -DFOREGROUND
33 6074 5601 0 20:54 ? 00:00:00 apache2 -DFOREGROUND
33 6075 5601 0 20:54 ? 00:00:00 apache2 -DFOREGROUND
33 6076 5601 0 20:54 ? 00:00:00 apache2 -DFOREGROUND
33 6077 5601 0 20:54 ? 00:00:00 apache2 -DFOREGROUND
33 6096 5601 0 20:54 ? 00:00:00 apache2 -DFOREGROUND
33 6098 5601 0 20:54 ? 00:00:00 apache2 -DFOREGROUND
33 6099 5601 0 20:54 ? 00:00:00 apache2 -DFOREGROUND
33 6100 5601 0 20:54 ? 00:00:00 apache2 -DFOREGROUND
33 6155 5601 0 20:57 ? 00:00:00 apache2 -DFOREGROUND
[root@localhost ~]# docker stats wordpress_wordprss_1
[root@localhost ~]# docker logs wordpress_wordprss_1
//這三條都是容器本身自帶的監(jiān)控命令
(2)sysdig
[root@localhost ~]# docker run -it --rm --name sysdig --privileged=true --volume=/var/run/docker.sock:/host/var/run/docker.sock --volume=/dev:/host/dev --volume=/proc:/host/proc:ro --volume=/boot:/host/boot:ro --volume=/lib/modules:/host/lib/modules:ro --volume=/usr:/host/usr:ro sysdig/sysdig
//創(chuàng)建一個容器并自動進(jìn)入容器中
//--rm:隨著退出容器而被刪除;
//--privileged=true:賦予特殊權(quán)限;
root@711dbeb59fdd:/# csysdig //執(zhí)行這條命令
如圖:
圖中可以使用鍵盤和鼠標(biāo)進(jìn)行操作!
[root@localhost ~]# curl -L git.io/scope -o /usr/local/bin/scope
[root@localhost ~]# chmod +x /usr/local/bin/scope //下載安裝腳本
[root@localhost ~]# scope launch //以容器方式啟動
……………………
Weave Scope is listening at the following URL(s):
* http://172.21.0.1:4040/
* http://192.168.122.1:4040/
* http://172.22.0.1:4040/
* http://172.20.0.1:4040/
* http://172.18.0.1:4040/
* http://172.19.0.1:4040/
* http://192.168.1.1:4040/
//根據(jù)末尾的提示信息進(jìn)行訪問
如圖:
根據(jù)圖中的提示,自行可以點(diǎn)擊進(jìn)行測試!
如果要監(jiān)控兩臺的話:主機(jī)名必須進(jìn)行區(qū)分方法如下:
[root@dockerA ~]# curl -L git.io/scope -o /usr/local/bin/scope
[root@dockerA ~]# chmod +x /usr/local/bin/scope
[root@dockerA ~]# scope launch 192.168.1.1 192.168.1.2 //選擇指定本地的IP,再指定對方的IP
[root@dockerA ~]# docker run -itd --name http httpd //運(yùn)行一個容器進(jìn)行測試
[root@dockerB ~]# curl -L git.io/scope -o /usr/local/bin/scope
[root@dockerB ~]# chmod +x /usr/local/bin/scope
[root@dockerB ~]# scope launch 192.168.1.2 192.168.1.1
[root@dockerB ~]# docker run -itd --name nginx nginx
訪問(dockerA、dockerB任意一臺即可)測試:
二、prometheus簡介Prometheus是一套開源的系統(tǒng)監(jiān)控報警框架。它以給定的時間間隔從已配置的目標(biāo)收集指標(biāo),評估規(guī)則表達(dá)式,顯示結(jié)果,并在發(fā)現(xiàn)某些情況為真時觸發(fā)警報。
三、Prometheus組成及架構(gòu)作為新一代的監(jiān)控框架,Prometheus具有以下特點(diǎn) :
強(qiáng)大的多維度數(shù)據(jù)模型:
(1)時間序列數(shù)據(jù)通過metric名和鍵值對來區(qū)分;
(2)所有的metrics都可以設(shè)置任意的多維標(biāo)簽;
(3)數(shù)據(jù)模型更隨意,,不需要刻意設(shè)置為以點(diǎn)分隔的字符串;
(4)可以對數(shù)據(jù)模型進(jìn)行聚合、切割和切片操作;
(5)支持雙精度浮點(diǎn)類型,標(biāo)簽可以設(shè)為全unicode(統(tǒng)一碼); 靈活、強(qiáng)大的查詢語句:在同一個查詢語句,可以對多個 metrics 進(jìn)行乘法、加法、連接、取分?jǐn)?shù)位等操作; 易于管理:不依賴于分布式存儲; 使用 pull 模式采集時間序列數(shù)據(jù); 可以采用 push gateway 的方式把時間序列數(shù)據(jù)推送至 Prometheus server 端; 可以通過服務(wù)發(fā)現(xiàn)或者靜態(tài)配置去獲取監(jiān)控的 targets; 有多種可視化圖形界面; 易于伸縮。;
Prometheus包含了許多組件,其中許多組件都是可選的,常用的組件有:
Prometheus Server:用于收集和存儲時間序列數(shù)據(jù); Client Library:客戶端庫,為需要監(jiān)控的服務(wù)生成相應(yīng)的 metrics 并暴露給 Prometheus server; Push Gateway:主要用于短期的 jobs。由于這類 jobs 存在時間較短,可能在 Prometheus 來 pull 之前就消失了。為此,這次 jobs 可以直接向 Prometheus server 端推送它們的 metrics; Exporters:用于暴露已有的第三方服務(wù)的 metrics 給 Prometheus; Alertmanager:從 Prometheus server 端接收到 alerts 后,會進(jìn)行去除重復(fù)數(shù)據(jù),分組,并路由到對端的接受方式,發(fā)出報警;
…………等等,還有好多,這里就列出幾個常用的組件!
Prometheus官方文檔中的架構(gòu)圖:
官方的架構(gòu)圖中,主要模塊塊包括:Prometheus server, exporters, Pushgateway, PromQL, Alertmanager 以及圖形界面;
大致的工作流程是:
(1)Prometheus server 定期從配置好的 jobs 或者 exporters 中拉 metrics,或者接收來自 Pushgateway 發(fā)過來的 metrics,或者從其他的 Prometheus server 中拉 metrics;
(2)Prometheus server 在本地存儲收集到的 metrics,并運(yùn)行已定義好的 alert.rules,記錄新的時間序列或者向 Alertmanager 推送警報;
(3)Alertmanager 根據(jù)配置文件,對接收到的警報進(jìn)行處理,發(fā)出告警;
(4)在圖形界面中,可視化采集數(shù)據(jù);
注意:上述三臺服務(wù)器上必須具備最基本的docker環(huán)境,上述環(huán)境的docker版本為18.09.0!
上述環(huán)境所需組件的作用如下:
Prometheus server:普羅米修斯的主服務(wù)器(端口:9090); NodeEXporter:負(fù)責(zé)收集Host硬件信息和操作系統(tǒng)信息,(端口:9100); cAdvisor:負(fù)責(zé)收集Host上運(yùn)行的容器信息(端口:8080); Grafana:負(fù)責(zé)展示普羅米修斯監(jiān)控界面(3000); Alertmanager:用來接收Prometheus發(fā)送的報警信息,并且執(zhí)行設(shè)置好的報警方式,報警內(nèi)容(同樣也是在dockerA主機(jī)上部署,端口:9093);
各組件的關(guān)系:NodeEXporter、cAdvisor負(fù)責(zé)收集信息發(fā)送給 Prometheus server,在由 Prometheus server交給Grafana進(jìn)行圖形化的顯示。如需報警,則由prometheus向Alertmanager組件發(fā)送信息!
實驗環(huán)境,為了簡單起見,關(guān)閉防火墻、SELinux,實際環(huán)境中需開啟相應(yīng)的端口!
2)部署prometheus (1)運(yùn)行node-exporter容器NodeEXporter主要負(fù)責(zé)收集Host硬件信息和操作系統(tǒng)信息!
[root@dockerA ~]# docker run -d --name node -p 9100:9100 -v /proc:/host/proc -v /sys:/host/sys -v /:/rootfs --net=host prom/node-exporter --path.procfs /host/proc --path.sysfs /host/sys --collector.filesystem.ignored-mount-points ^/(sys|proc|dev|host|etc)($|/)
//使用prom/node-exporter 鏡像創(chuàng)建一個名為node的容器,用于收集硬件和系統(tǒng)信息;
//--net=host表示Prometheus server可以直接與node-exporter通信;
//并映射9100端口
執(zhí)行完成后,客戶端使用瀏覽器進(jìn)行訪問,如圖:
訪問到以上頁面表示node-exporter這個組件安裝成功!
由于這個NodeEXporter組件需要在三臺docker host主機(jī)上,所以以上命令就需要在另外兩臺主機(jī)上都執(zhí)行。執(zhí)行完成后,自行使用瀏覽器訪問測試!
(2)運(yùn)行cAdvisor容器cAdvisor主要負(fù)責(zé)收集Host上運(yùn)行的容器信息!
[root@dockerA ~]# docker run -v /:/rootfs:ro -v /var/run:/var/run/:rw -v /sys:/sys:ro -v /var/lib/docker:/var/lib/docker:ro -p 8080:8080 --detach=true --name=cadvisor --net=host google/cadvisor
客戶端訪問測試:
訪問到上述頁面則表示cAdvisor這個組件安裝成功!
同樣這個cAdvisor組件也是需要在三臺docker host上全部安裝的!所以以上命令也需在另外兩臺主機(jī)上執(zhí)行,執(zhí)行完成后,自行測試!
(3)運(yùn)行Prometheus server容器(只需在dockerA主機(jī)上執(zhí)行即可?。?p>Prometheus是普羅米修斯的主服務(wù)器!在部署Prometheus之前,需要對它的配置文件進(jìn)行修改,所以首先運(yùn)行一個Prometheus容器將其配置文件復(fù)制到本地,便于進(jìn)行修改。
[root@dockerA ~]# docker run -d -p 9090:9090 --name prometheus --net=host prom/prometheus
//運(yùn)行一個Prometheus容器是為了將它的配置文件拿到本地
[root@dockerA ~]# docker cp prometheus:/etc/prometheus/prometheus.yml .
//將Prometheus容器中的主配置文件復(fù)制到本地
[root@dockerA ~]# vim prometheus.yml //編輯主配置文件
- targets: [\'localhost:9090\',\'localhost:8080\',\'localhost:9100\',\'192.168.1.2:8080\',\'192.168.1.2:9100\',\'192.168.1.3:8080\',\'192.168.1.3:9100\']
//這項原本是存在的,只需修改即可!
//用于指定監(jiān)控本機(jī)的9090、8080、9100這三個端口,另外添加另外兩臺docker主機(jī)的8080、9100這兩個端口。
//8080端口運(yùn)行的是cAdvisor服務(wù)
//9100端口運(yùn)行的是node-exporter服務(wù)
//9090端口運(yùn)行的就是Prometheus服務(wù)
[root@dockerA ~]# docker rm prometheus -f //將剛才運(yùn)行的容器刪除
prometheus
[root@dockerA ~]# docker run -d -p 9090:9090 --name prometheus --net=host -v /root/prometheus.yml:/etc/prometheus/prometheus.yml prom/prometheus
//重新運(yùn)行一個prometheus容器,將剛才修改完成的配置文件掛載到容器中
客戶端訪問測試:
(4)運(yùn)行g(shù)rafana容器(同樣只需在dockerA主機(jī)上運(yùn)行即可!)grafana主要負(fù)責(zé)展示普羅米修斯監(jiān)控界面,給我們提供良好的圖形化界面!
[root@dockerA ~]# mkdir grafana-storage
[root@dockerA ~]# chmod 777 -R grafana-storage
//創(chuàng)建一個目錄,賦予777的權(quán)限
[root@dockerA ~]# docker run -d -p 3000:3000 --name grafana -v /root/grafana-storage:/var/lib/grafana -e GF_SECURITY_ADMIN_PASSWORD=123.com grafana/grafana
//“-e”選項表示修改容器內(nèi)部的環(huán)境變量,將admin用戶的密碼更改為123.com;
客戶端訪問測試:
上述配置完成后,我們就需要配置它以什么樣的形式來給我們展示了,可以自定義,但是很麻煩,我選擇直接去grafana官網(wǎng)尋找現(xiàn)成的模板。如圖:
將grafana官方的模板導(dǎo)入到我們的grafana容器提供的web頁面中,方法有兩種方式:
1)第一種方式:在grafana官網(wǎng)選擇自己喜歡的模板,點(diǎn)擊進(jìn)入,如圖:
下載后,回到自己搭建的grafana容器提供的web頁面中,如圖:
但是仔細(xì)看的話,會發(fā)現(xiàn)這個模板有些信息都檢測不到,所以這里就是為了展示一種方式導(dǎo)入模板的方式。個人建議推薦使用第二種方式!
選擇合適的模板后,記錄其ID號,如圖:
記錄下模板的ID號之后,同樣回到自己搭建的grafana容器提供的web頁面中,如圖:
至此web界面的監(jiān)控就部署完成了!
3)配置Peometheus監(jiān)控實現(xiàn)報警Prometheus的報警方式有好幾種,比如:郵箱、微信、釘釘?shù)?,本次案例采用郵箱告警的方式。
(1)運(yùn)行alertmanager容器Alertmanager組件主要是用來接收Prometheus發(fā)送的報警信息,并且執(zhí)行設(shè)置好的報警方式,報警內(nèi)容;
只需在dockerA主機(jī)上部署即可!方法如下:
[root@dockerA ~]# docker run -d --name alertmanager -p 9093:9093 prom/alertmanager
//隨便運(yùn)行一個容器,其目的就是將容器中服務(wù)的配置文件拿到本地
[root@dockerA ~]# docker cp alertmanager:/etc/alertmanager/alertmanager.yml .
//將altermanager服務(wù)的yml配置文件拿到本地
[root@dockerA ~]# vim alertmanager.yml //編輯配置文件
global:
resolve_timeout: 5m
smtp_from: \'1454295320@qq.com\' #發(fā)送者信息
smtp_smarthost: \'smtp.qq.com:465\'
smtp_auth_username: \'1454295320@qq.com\' #接收者信息
smtp_auth_password: \'gfuxsudyqyulbaad\' #使用qq郵箱生成的授權(quán)碼
smtp_require_tls: false
smtp_hello: \'qq.com\'
route:
group_by: [\'alertname\'] #采用默認(rèn)組
group_wait: 5s
group_interval: 5s
repeat_interval: 5m
receiver: \'email\'
receivers:
- name: \'email\'
email_configs:
- to: \'1454295320@qq.com\' //發(fā)送者信息
send_resolved: true //當(dāng)容器恢復(fù)正常時,也會發(fā)送一份郵件
inhibit_rules:
- source_match:
severity: \'critical\'
target_match:
severity: \'warning\'
equal: [\'alertname\', \'dev\', \'instance\']
//配置文件中常用需要修改的地方已經(jīng)做了備注
alertmanager.yml配置文件中一級字段:
global:全局配置(包括報警解決的超時時間、SMTP相關(guān)配置、各種渠道通知的API地址等新消息); route:用來設(shè)置報警的分發(fā)策略; receivers:配置告警消息接收者信息; inhibit_rules:抑制規(guī)則配置,當(dāng)存在與另一組匹配的警報時,抑制規(guī)則將僅用于一組匹配的;
[root@dockerA ~]# docker rm -f alertmanager //將原本的alertmanager 容器刪除
[root@dockerA ~]# docker run -d --name alertmanager -p 9093:9093 -v /root/alertmanager.yml:/etc/alertmanager/alertmanager.yml prom/alertmanager
//重新運(yùn)行alertmanager 容器,并將配置文件掛載到容器中
//建議運(yùn)行容器之后,使用docker ps | grep alertmanager 確保容器正常運(yùn)行
//如果配置文件編寫錯誤,那么這個容器是無法啟動的
(2)配置alertmanager報警規(guī)則
[root@dockerA ~]# mkdir -p prometheus/rules && cd prometheus/rules
//創(chuàng)建目錄用于存放規(guī)則的目錄
[root@dockerA rules]# vim node-up.rules //編寫規(guī)則
groups:
- name: node-up //自定義名稱
rules:
- alert: node-up
expr: up{job=prometheus} == 0
// job的名稱必須和prometheus配置文件中的 - job_name: \'prometheus\'對應(yīng)
for: 15s
labels:
severity: 1
team: node
annotations:
summary: {{ $labels.instance }} 已停止運(yùn)行超過 15s!
可以根據(jù)以上配置文件進(jìn)行修改,若想自己編寫報警規(guī)則,可以參考它的官方文檔,如圖:
(3)關(guān)聯(lián)Prometheus[root@dockerA ~]# vim prometheus.yml
8 alerting:
9 alertmanagers:
10 - static_configs:
11 - targets:
12 - 192.168.1.1:9093 //此行將原本的內(nèi)容更改為alertmanager容器的IP+端口
13
14 # Load rules once and periodically evaluate them according to the global \'evaluat ion_interval\'.
15 rule_files:
16 - /usr/local/prometheus/rules/*.rules //這一行需要手動添加,指定容器內(nèi)的路徑
[root@dockerA ~]# docker rm -f prometheus //修改完配置為文件后,需要將容器刪除,重新運(yùn)行一臺新的容器
[root@dockerA ~]# docker run -d -p 9090:9090 --name prometheus --net=host -v /root/prometheus.yml:/etc/prometheus/prometheus.yml -v /root/prometheus/rules/node-up.rules:/usr/local/prometheus/rules/node-up.rules prom/prometheus
//指定步驟(2)編寫的rule文件的路徑,
為防止格式可能會出現(xiàn)錯誤,附上截圖一張,如下:
至此,如果prometheus頁面中的target有異常(比如宕機(jī)),那么就會給你的郵箱發(fā)送報警信息。
我手動停掉容器,收到的郵件如下:
為了追求美觀,我們采取設(shè)置一下報警信息的模板!
(4)設(shè)置報警信息模板[root@dockerA ~]# cd prometheus
[root@dockerA prometheus]# mkdir alertmanager-tmpl
[root@dockerA prometheus]# cd alertmanager-tmpl/
[root@dockerA prometheus]# vim email.tmpl
{{ define email.from }}1454295320@qq.com{{ end }}
{{ define email.to }}1454295320@qq.com{{ end }}
{{ define email.to.html }}
{{ range .Alerts }}
=========start==========<br>
告警程序: prometheus_alert<br>
告警級別: {{ .Labels.severity }} 級<br>
告警類型: {{ .Labels.alertname }}<br>
故障主機(jī): {{ .Labels.instance }}<br>
告警主題: {{ .Annotations.summary }}<br>
觸發(fā)時間: {{ .StartsAt.Format 2019-08-04 16:58:15 }} <br>
=========end==========<br>
{{ end }}
{{ end }}
[root@dockerA ~]# vim alertmanager.yml
global:
resolve_timeout: 5m
smtp_from: \'1454295320@qq.com\'
smtp_smarthost: \'smtp.qq.com:465\'
smtp_auth_username: \'1454295320@qq.com\'
smtp_auth_password: \'flnuwdktcbzwffag\'
smtp_require_tls: false
smtp_hello: \'qq.com\'
templates: //添加此行
- \'/etc/alertmanager-tmpl/*.tmpl\' //指定容器中模板的路徑
route:
group_by: [\'alertname\']
group_wait: 5s
group_interval: 5s
repeat_interval: 5m
receiver: \'email\'
receivers:
- name: \'email\'
email_configs:
- to: \'{{ template email.to }}\' //必須和模板中對應(yīng) html: \'{{ template email.to.html . }}\' //必須和模板中對應(yīng)
send_resolved: true
inhibit_rules:
- source_match:
severity: \'critical\'
target_match:
severity: \'warning\'
equal: [\'alertname\', \'dev\', \'instance\']
[root@dockerA ~]# docker rm alertmanager -f
//刪除容器
[root@dockerA ~]# docker run -d --name alertmanager -p 9093:9093 -v /root/alertmanager.yml:/etc/alertmanager/alertmanager.yml -v /root/prometheus/alertmanager-tmpl:/etc/alertmanager-tmpl prom/alertmanager
//創(chuàng)建容器本地創(chuàng)建的模板文件
//創(chuàng)建完成后,確定容器是正常運(yùn)行
至此,新的報警模板也生成了,如果以下容器有Down的,就會給你發(fā)送新的郵件,恢復(fù)正常后,也會發(fā)送郵件,同樣,郵件中的內(nèi)容格式是有誤的,但是你可以正常接收到報警信息,若想要更改其報警模板,可以參考官方文檔
郵箱收到的報警信息如下:
比原本的效果要好很多!就簡單介紹一下這一個吧,有興趣可以參考官網(wǎng)的文檔,自行進(jìn)行編寫!
————————————本文到此結(jié)束,感謝閱讀————————————
名稱欄目:Docker監(jiān)控——Prometheus
標(biāo)題來源:http://vcdvsql.cn/article10/choego.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站設(shè)計公司、動態(tài)網(wǎng)站、自適應(yīng)網(wǎng)站、網(wǎng)站改版、全網(wǎng)營銷推廣、外貿(mào)建站
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容