ELK Elasticsearch 集群部署

ELK Elasticsearch 集群部署

数据流向：1、配景服务器产生的日志由filebeat收集通过logstasg进行尺度化处理，传输给es1、es2(两个是一个主备的关系，数据都是同等的)，然后传输给可视化装备。
有了flebeat可以节流资源，可以通过filebeat和logstash实现长途数据收集。
filereat不能对数据进行尺度输出，不能输出为ES格式的数据，所以需要logstasg把filebeat数据做尺度化处理

1. 192.168.11.150  ELK1  node1 (es1) 设置Java环境、部署 Elasticsearch、 Elasticsearch-head、node、 phantomjs
2. 192.168.11.151  ELK2  node2 (es2) 设置Java环境、部署 Elasticsearch、 Elasticsearch-head、node、 phantomjs
3. 192.168.11.152  ELK3  部署     kibana-6.7.2-x86_64.rpm  logstash-6.7.2.rpm
4. 192.168.11.144  后台服务器     Apache、MySQL、Nginx、部署Logstash   

复制代码

E LK1 ELK2 部署

1. 1．环境准备
2. #设置Java环境
3. java -version                                                                #如果没有安装，yum -y install java
5. 2．部署 Elasticsearch 软件
6. （1）安装elasticsearch—rpm包
7. #上传elasticsearch-6.7.2.rpm到/opt目录下
8. cd /opt
9. rpm -ivh elasticsearch-6.7.2.rpm
11. （2）修改elasticsearch主配置文件
12. cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
13. vim /etc/elasticsearch/elasticsearch.yml
14. --17--取消注释，指定集群名字
15. cluster.name: my-elk-cluster
16. --23--取消注释，指定节点名字：Node1节点为node1，Node2节点为node2
17. node.name: node1
18. node.master: true                #是否master节点，false为否
19. node.data: true                        #是否数据节点，false为否
20. --34--取消注释，指定数据存放路径
21. path.data: /var/lib/elasticsearch
22. --38--取消注释，指定日志存放路径
23. path.logs: /var/log/elasticsearch
24. --43--注释，避免es使用swap交换分区，可以不注释
25. # bootstrap.memory_lock: true
26. --55--取消注释，设置监听地址，0.0.0.0代表所有地址
27. network.host: 0.0.0.0
28. --59--取消注释，ES 服务的默认监听端口为9200
29. http.port: 9200                                        #指定es集群提供外部访问的接口
30. transport.tcp.port: 9300                #指定es集群内部通信接口
31. --68--取消注释，集群发现通过单播实现，指定要发现的节点
32. discovery.zen.ping.unicast.hosts: ["192.168.11.150:9300", "192.168.11.151:9300"]
33. 91 http.cors.enabled: true
34. 92 http.cors.allow-origin: "*"
36. grep -v "^#" /etc/elasticsearch/elasticsearch.yml
38. （3）启动elasticsearch是否成功开启
39. systemctl start elasticsearch.service
40. systemctl enable elasticsearch.service
41. netstat -antp | grep 9200
43. （5）查看节点信息
44. 浏览器访问  http://192.168.11.150:9200  、 http://192.168.11.151:9200 查看节点 Node1、Node2 的信息。
45. 浏览器访问 http://192.168.11.150:9200/_cluster/health?pretty  、 http://192.168.11.150:9200/_cluster/health?pretty查看群集的健康情况，可以看到 status 值为 green（绿色）， 表示节点健康运行。
46. 浏览器访问 http://192.168.11.150:9200/_cluster/state?pretty  检查群集状态信息。
49. 3．安装 Elasticsearch-head 插件
50. （1）编译安装 node
51. #上传软件包 node-v8.2.1.tar.gz 到/opt
52. yum install gcc gcc-c++ make -y
53. cd /opt
54. tar zxvf node-v8.2.1.tar.gz
56. cd node-v8.2.1/
57. ./configure
58. make -j 4 && make install
60. （2）安装 phantomjs
61. #上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到
62. cd /opt
63. tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2
64. cd /opt/phantomjs-2.1.1-linux-x86_64/bin
65. cp phantomjs /usr/local/bin
67. （3）安装 Elasticsearch-head 数据可视化工具
68. #上传软件包 elasticsearch-head-master.zip 到/opt
69. cd /opt
70. unzip elasticsearch-head-master.zip
71. cd elasticsearch-head-master/
73. #速度慢，可以指定为淘宝镜像
74. npm config set registry http://registry.npm.taobao.org/  
75. npm install
77. （4）修改 Elasticsearch 主配置文件
78. vim /etc/elasticsearch/elasticsearch.yml
80. --末尾添加以下内容--
81. http.cors.enabled: true                                #开启跨域访问支持，默认为 false
82. http.cors.allow-origin: "*"                        #指定跨域访问允许的域名地址为所有
83. systemctl restart elasticsearch
85. (5) 启动 elasticsearch-head 服务
86. #必须在解压后的 elasticsearch-head 目录下启动服务，进程会读取该目录下的 gruntfile.js 文件，否则可能启动失败。
87. cd /opt/elasticsearch-head-master
88. npm run start &
89. netstat -natp |grep 9100

复制代码

ELK3 日志收集装置部署

有了flebeat可以节流资源，可以通过filebeat和logstash实现长途数据收集。
filereat不能对数据进行尺度输出，不能输出为ES格式的数据，所以需要logstasg把filebeat数据做尺度化处理

1. 1．更改主机名
2. hostnamectl set-hostname ELK3
3. bash
4. 2．安装Apahce服务（httpd）
5. yum -y install httpd
6. systemctl start httpd
8. 3．安装Java环境
9. yum -y install java
10. java -version
12. 4．安装logstash
13. #上传软件包 logstash-6.7.2.rpm 到/opt目录下
14. cd /opt
15. rpm -ivh logstash-6.7.2.rpm                          
16. systemctl start logstash.service                     
17. systemctl enable logstash.service
19. ln -s /usr/share/logstash/bin/logstash /usr/local/bin/
21. logstash -e 'input { stdin{} } output { stdout{} }'
22. logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'
24. logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.11.150:9200","192.168.11.151:9200"] } }'  --path.data /opt/test1

复制代码

ELK3 日志可视化部署

1. [root@apache-elk3 opt]#cd /opt/
2. [root@apache-elk3 opt]#rpm -ivh kibana-6.7.2-x86_64.rpm  
3. [root@apache-elk3 conf.d]# vim /etc/kibana/kibana.yml
4. 2 server.port: 5601
5. 7 server.host: "0.0.0.0"
6. 28 elasticsearch.hosts: ["http://192.168.11.150:9200","http://192.168.11.151:9200"]
7. 指向ELK1  ELK2   
8. 37 kibana.index: ".kibana"
9. 96 logging.dest: /var/log/kibana.log
10. 113 i18n.locale: "zh-CN"
11. [root@apache-elk3 opt]#  systemctl restart kibana.service
12. [root@apache-elk3 opt]#  systemctl enable  kibana.service
13. [root@apache-elk3 opt]#  netstat -antp | grep 5601
14. [root@apache-elk3 opt]# chmod 777 /var/log/messages
16. 浏览器访问：192.168.11.152:5601
18. #配置接收日志脚本
19. cd /etc/logstash/conf.d
20. vim xhg.conf
22. input {
23.    beats { port => "5046"}
24. }
26. output {
27.          if "nginx" in [tags] {
29.         elasticsearch {
30.                hosts => ["192.168.11.150:9200","192.168.11.151:9200"]
31.                index=> "%{[fields][service_name]}-%{+YYYY.MM.dd}"
32.           }
33.         }
34.       if "httpd" in [tags] {
35.                elasticsearch {
36.                hosts => ["192.168.11.150:9200","192.168.11.151:9200"]
37.                index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"
38.           }
39. }
40.        if "mysql" in [tags] {
41.            elasticsearch {
42.                hosts=>["192.168.11.150:9200","192.168.11.151:9200"]
43.               index=> "%{[fields][service_name]}-%{+YYYY.MM.dd}"
44.           }
45.        }
46. }
48. logstash -f xhg.conf --path.data /opt/test9 &   #先执行

复制代码

主机配置1

主机有Apache、httpd、nginx服务，将三个服务产生的日志通过ELK3收集，过滤、分析、汇总、再以尺度格式输出到ELK1、ELK2，通过kiabana可视化进行查看
有了flebeat可以节流资源，可以通过filebeat和logstash实现长途数据收集。
filereat不能对数据进行尺度输出，不能输出为ES格式的数据，所以需要logstasg把filebeat数据做尺度化处理

1. yum install -y httpd
2. yum install -y nginx
3. yum install -y mysqld   (可以编译安装)
4. -------------------------------确定每个服务的日志保存的绝对路径-----------------------------------------
5. find / -name  nginx
6. find / -name  http   #查找日志路径
7. mysql日志路径: general_log_file=/usr/local/mysql/data/mysql_general.log
8. nginx 日志路径：     - /usr/local/nginx/logs/access.log
9.                     - /usr/local/nginx/logs/error.log
10. httpd日志路径： /var/log/httpd/access_log
11.                /var/log/httpd/access_log
13. #############注意： http服务和nginx服务所使用的端口都是80端口需要修改其中一个端口的使用##############
14. ########修改nginx端口信息改成8888##########
15. [root@myslq4 nginx]# vim /etc/nginx/nginx.conf
16. 38     server {
17. 39         listen       8888;
18. 40         listen       [::]:8888;
19. 41         server_name  _;
20. 42         root         /usr/share/nginx/html;
21. [root@myslq4 nginx]# netstat -antp | grep nginx
22. tcp        0      0 0.0.0.0:8888            0.0.0.0:*               LISTEN      30416/nginx: master
23. tcp6       0      0 :::8888                 :::*                    LISTEN      30416/nginx: master

复制代码

主机上配置日志收集

1. 1．更改主机名
2. hostnamectl set-hostname 后台服务器
4. 2．安装Apahce服务（httpd）
5. yum -y install httpd
6. systemctl start httpd
8. 3．安装Java环境
9. yum -y install java
10. java -version
12. 4．安装logstash
13. #上传软件包 logstash-6.7.2.rpm 到/opt目录下
14. cd /opt
15. rpm -ivh logstash-6.7.2.rpm                          
16. systemctl start logstash.service                     
17. systemctl enable logstash.service
19. ln -s /usr/share/logstash/bin/logstash /usr/local/bin/
21. #可以指定logstash的工作目录，默认为：/etc/logstash/conf.d
22. path.config: /opt/log
24. cd /opt
25. tar -xf filebeat-6.7.2-linux-x86_64.tar.gz
26. mv filebeat-6.7.2-linux-x86_64 /usr/local/filebeat
27. cd /usr/local/filebeat/
28. cp filebeat.yml filebeat.yml.bak
29. [root@myslq4 filebeat]# pwd
30. /usr/local/filebeat
31. [root@myslq4 filebeat]# vim filebeat.yml
32. - type: log
33.   enabled: true
34.   paths:
35.     - /usr/local/nginx/logs/access.log
36.     - /usr/local/nginx/logs/error.log
37.   tags: ["nginx"]
38.   fields:
39.     service_name: 192.168.11.144_nginx
40.     log_type: nginx
41.     from: 192.168.11.144
43. - type: log
44.   enabled: true
45.   paths:
46.     - /var/log/httpd/access_log
47.     - /var/log/httpd/access_log
49.   tags: ["httpd"]
50.   fields:
51.     service_name: 192.168.11.144_httpd
52.     log_type: httpd
53.     from: 192.168.11.144
56. - type: log
57.   enabled: true
58.   paths:
59.     - /usr/local/mysql/data/mysql_general.log
60.   tags: ["mysql"]
61.   fields:
62.     service_name: 192.168.11.144_mysql
63.     log_type: mysql
64.     from: 192.168.11.144
67. 95 filebeat.config.modules:
68. 96   # Glob pattern for configuration loading
69. 97   path: ${path.config}/modules.d/*.yml
70. 99   # Set to true to enable config reloading
71. 100   reload.enabled: false
72. 107   setup.template.settings:
73. 108   index.number_of_shards: 3
74. 188   output.logstash:
75. 189   # The Logstash hosts
76. 190   hosts: ["192.168.11.152:5046"]
78. nohup ./filebeat -e -c filebeat.yml > filebeat.out &
79. tail -f filebeat.out

复制代码

t to true to enable config reloading
100 reload.enabled: false
107 setup.template.settings:
108 index.number_of_shards: 3
188 output.logstash:
189 # The Logstash hosts
190 hosts: [“192.168.11.152:5046”]
nohup ./filebeat -e -c filebeat.yml > filebeat.out &
tail -f filebeat.out
[code][/code]
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。