elk+filebeat+kafka集群部署

  金牌会员 | 2024-8-5 05:08:19 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题

主题 981|帖子 981|积分 2943

实验框架图


 192.168.124.10   es1
 192.168.124.20   es2
 192.168.124.30  losgtash kibana 
 192.168.124.50  MySQL  nginx   httpd
上一篇做完es1和es2以及192.168.124.30的部署
在192.168.124.50做设置部署
开启MySQL、nginx、http

因为nginx和http默认端口为80,改下nginx的端口号为82.

安装filebeat包,先解压,修改解压之后的目次名称

进入filebeat这个目次里面,在filebeat.yml这个设置文件添加内容
  type: log:表明这是一个日志相干的设置类型。
   通常用于指定正在设置的是日志的处理规则或设置


  • enabled: true:表示该日志设置处于启用状态。
  • 如果设置为 false,则相应的日志设置不会见效
paths: 部分
指定了 Nginx 访问日志的文件路径。
指定了 Nginx 错误日志的文件路径。
tags   为这些日志添加了一个标签
标签有助于对不同类型或来源的日志进行分类和识别。
fields
定义了一个字段
定义了一个字段 log_type  进一步明确了日志的类型。
定义了一个字段 from 可能表示日志的来源地址。

     nohup ./filebeat -e -c filebeat.yml > filebeat.out &
   nohup: 表示在后台运行命令,即使终端关闭,命令仍会继续运行。
./filebeat:这是要运行的程序,即 filebeat 。
-e:通常用于启用具体的错误输出,以便在出现问题时提供更多的调试信息。
-c filebeat.yml:指定了 filebeat 程序的设置文件为 filebeat.yml 。设置文件中可能包含了关于要采集的日志源、输出目标等的具体设置。
> filebeat.out:将标准输出重定向到名为 filebeat.out 的文件中,以便生存程序运行时输出的信息。
&:表示将命令在后台运行。
然后进入192.168.124.30设置
   进入logstash/conf.d
  创建文件 vim nmh_50.conf

 input 部分定义了数据的输入源。
beats { port => "5046"}:表示从 Beats 框架吸收数据,吸收数据的端口为 5046 。

output 部分定义了数据的输出方式。


  • 这里使用了多个条件判定 if 语句:

    • if "nginx" in [tags]:如果输入数据的 tags 字段中包含 nginx 。
    • if "httpd" in [tags]:如果 tags 字段中包含 httpd 。
    • if "mysqld" in [tags]:如果 tags 字段中包含 mysqld 。
    • 对于满足条件的数据,将输出到 Elasticsearch :
    • elasticsearch { hosts => ["192.168.124.10:9200","192.168.124.20:9200"] }:指定了 Elasticsearch 的主机地址。
    • index => "%{[fields][service_name]}-%{+YYYY.MM.dd}":定义了输出数据在 Elasticsearch 中的索引名称,索引名称由 fields 中的 service_name 字段的值和当前日期(格式为 YYYY.MM.dd )构成。


开启网络日志的命令
   logstash -f nmh_50.conf --path.data /opt/test7 &
   然后访问es1和es2


免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

金牌会员
这个人很懒什么都没写!
快速回复 返回顶部 返回列表