如何使用logstash同步nginx日志到數據庫

概述

伊春ssl適用于網站、小程序/APP、API接口等需要進行數據傳輸應用場景，ssl證書未來市場廣闊！成為成都創新互聯的ssl證書銷售渠道，可以享受市場價格4-6折優惠！如果有意向歡迎電話聯系或者加微信：13518219792（備注：SSL證書合作）期待與您的合作！

logstash

logstash就是一根具備實時數據傳輸能力的管道，負責將數據信息從管道的輸入端傳輸到管道的輸出端；與此同時這根管道還可以讓你根據自己的需求在中間加上濾網，Logstash提供里很多功能強大的濾網以滿足你的各種應用場景。

Nginx

Nginx(engine x) 是一個高性能的HTTP和反向代理服務器，也是一個IMAP/POP3/SMTP服務器。其將源代碼以類BSD許可證的形式發布，因它的穩定性、豐富的功能集、示例配置文件和低系統資源的消耗而聞名。Nginx是一款輕量級的Web服務器/反向代理服務器及電子郵件（IMAP/POP3）代理服務器，并在一個BSD-like 協議下發行。其特點是占有內存少，并發能力強，事實上nginx的并發能力確實在同類型的網頁服務器中表現較好。

1.logstash安裝（jdk提前安裝1.8）

rpm -ivh logstash-6.6.2.rpm

2.上傳數據庫驅動jar包

wget https://dev.MySQL.com/get/Downloads/Connector-J/mysql-connector-java-5.1.48.tar.gz

mkdir -p /usr/share/logstash/vendor/jar/jdbc
cd /usr/share/logstash/vendor/jar/jdbc
[root@localhost soft]# cd /usr/share/logstash/vendor/jar/jdbc
[root@localhost jdbc]# ll
total 984
-rw-r--r--. 1 logstash logstash 1006959 Jul 11 19:43 mysql-connector-java-5.1.48-bin.jar
[root@localhost jdbc]#

3.數據庫創建庫并授權用戶

create database nginxlog;
use nginxlog;
CREATE TABLE `consumerlog` (
  `client_ip` varchar(128) DEFAULT NULL,
  `log_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `status` int(6) DEFAULT NULL,
  `http_referer` text,
  `AgentVersion` varchar(512) DEFAULT NULL,
) 
grant all  on  nginxlog.* to  nginxlog@'%'  identified  by  '123456';

4.安裝 logstash-output-jdbc插件

vim /usr/share/logstash/Gemfile
# source "https://rubygems.org"  將國外的源注釋,換成國內的
source "https://gems.ruby-china.com/"/usr/share/logstash/bin/logstash-plugin install logstash-output-jdbc

Validating logstash-output-jdbc
Installing logstash-output-jdbc
Installation successful
 
/usr/share/logstash/bin/logstash-plugin list | grep jdbc
logstash-input-jdbc
logstash-output-jdbc

5.nginx日志格式設置

log_format   access_log_json '{"client_ip":"$remote_addr","log_time":"$time_local","request":"$request","status":"$status","body_bytes_sent":"$body_bytes_sent","http_referer":"$http_referer","AgentVersion":"$http_user_agent","upstream_addr":"$upstream_addr","request_time":"$request_time","upstream_response_time":"$upstream_response_time"}';

[root@localhost conf.d]# cat consumer_log.conf

/etc/logstash/conf.d

input{
  file{
    path => "/usr/local/tengine-2.1.2/logs/sxt-consumer.log"
    start_position => "beginning"
    stat_interval => "2"
    codec => "json"
  } 
}
 
filter {
    if [status] != "200" { 
        drop{}
    }
}
output{
  jdbc{
    connection_string => "jdbc:mysql://192.168.14.61/nginxlog?user=nginxlog&password=123456&useUnicode=true&characterEncoding=UTF8"
    statement => ["insert into consumerlog(client_ip,status,http_referer,AgentVersion) VALUES(?,?,?,?)", "client_ip","status","http_referer","AgentVersion"]
 }
}

7.啟動logstash

systemctl start logstash

8.驗證數據

如何使用logstash同步nginx日志到數據庫