filebeat抓取nginx日记

目录
一、抓取普通的应用输出日记到elasticsearch
二、抓取nginx日记输出到ElasticSearch
2.1、nginx.conf设定日记输出为JSON格式
2.2、nginx.conf设定日记按天输出文件
2.3、抓取Nginx JSON到ElasticSearch配置

---

一、抓取普通的应用输出日记到elasticsearch

- type: log
  # 默认是 5s
  scan_frequency: 5s
  enabled: true
  encoding: utf-8
  paths:
    - /opt/mydomain.cn/log-file.log
  multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2},[0-9]{3}'
  multiline.negate: true
  multiline.match: after
  tags: ["IP地址","业务名","myapi","dev"]
  fields:
    app_from: myapi-172
  fields_under_root:  true
二、抓取nginx日记输出到ElasticSearch


2.1、nginx.conf设定日记输出为JSON格式

1. log_format main '{ "time_local": "$time_local",'
2.                         '"remote_addr": "$remote_addr",'
3.                         '"referer": "$http_referer",'
4.                         '"uri": "$host$uri",'
5.                         '"status": $status,'
6.                         '"bytes": $body_bytes_sent,'
7.                         '"up_addr": "$upstream_addr",'
8.                         '"upstream_time": "$upstream_response_time",'
9.                         '"request_time": "$request_time"'
10.                         '}';

复制代码

2.2、nginx.conf设定日记按天输出文件

1. map $time_iso8601 $logdate {
2.         '~^(?<ymd>\d{4}-\d{2}-\d{2})' $ymd;
3.         default 'date-not-found';
4.         }
5.     access_log logs/access-$logdate.log main;

复制代码

2.3、抓取Nginx JSON到ElasticSearch配置

1. - type: log
2.   # 默认是 5s
3.   scan_frequency: 10s
4.   enabled: true
5.   encoding: utf-8
6.   paths:
7.     - /usr/local/nginx/logs/*.log
8.   json.keys_under_root: true  # Flase会将json解析的格式存储至messages，改为true则不存储至
9.   json.overwrite_keys: true  #覆盖默认message字段，使用自定义json格式的key
10.   tags: ["11.111.11.111","nginx","dev"]
11.   fields:
12.     app_from: nginx-111
13.   fields_under_root:  true

复制代码

这一么一点点配置，搞了一整天，才整明白。


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。