日志收集系统PLG（Promtail+Loki+Grafana）先容及部署

一、简 介
Loki是受Prometheus开导由Grafana Labs团队开源的程度可扩展，高度可用的多租户日志聚合系统。 开发语言: Google Go。它的设计具有很高的成本效益，并且易于操作。使用标签来作为索引，而不是对全文进行检索，也就是说，你通过这些标签既可以查询日志的内容也可以查询到监控的数据签，极大地低落了日志索引的存储。系统架构十分简朴，由以下3个部门组成 ：
Promtail 是署理，负责收集日志并将其发送给 loki 。
Loki 是主服务器，负责存储日志和处理查询 。
Grafana 用于 UI 展示。
只要在应用程序服务器上安装promtail来收集日志然后发送给Loki存储，就可以在Grafana UI界面通过添加Loki为数据源进行日志查询（假如Loki服务器性能不敷，可以部署多个Loki进行存储及查询）。作为一个日志系统不光只有查询分析日志的本领，还能对日志进行监控和报警。

二、原理分析
promtail收集并将日志发送给loki的 Distributor 组件 Distributor会对接收到的日志流进行正确性校验，并将验证后的日志分批并行发送到Ingester Ingester 接受日志流并构建数据块，压缩后存放到所连接的存储后端 Querier 收到HTTP查询哀求，并将哀求发送至Ingester 用以获取内存数据 ，Ingester 收到哀求后返回符合条件的数据 ； 假如 Ingester 没有返回数据，Querier 会从后端存储加载数据并遍历去重实行查询 ，通过HTTP返回查询结果
三、对比
PLG与ELK比力优势ELK虽然功能丰富，但规模复杂，资源占用高，操作苦难，很多功能往往用不上，有点杀鸡用牛刀的感觉。 Loki 不对日志进行全文索引。通过存储压缩非结构化日志和索引元数据，Loki 操作起来会更简朴，更省成本。 通过使用与 Prometheus 相同的标签记录流对日志进行索引和分组，这使得日志的扩展和操作效率更高。 安装部署简朴快速，且受 Grafana 原生支持。
四、下载

1. curl -O -L "https://github.com/grafana/loki/releases/download/v1.5.0/loki-linux-amd64.zip"
2. curl -O -L "https://github.com/grafana/loki/releases/download/v1.5.0/promtail-linux-amd64.zip"
3. wget https://dl.grafana.com/enterprise/release/grafana-enterprise-8.3.3.linux-amd64.tar.gz

复制代码

五、 安装loki、grafana、promtail
安装loki
先将loki-linux-amd64.zip和grafana-enterprise-8.3.3.linux-amd64.tar.gz上传到日志服务器（10.60.134.55）；再将promtail-linux-amd64.zip上传到应用服务器（10.60.134.60、10.60.134.48、10.60.134.56）。
在日志服务器 上创建目次 /usr/local/logsCollect/loki用于安装loki，创建目次/usr/local/logsCollect/grafana用于安装grafana，如下：

1. mkdir  /data/loki
2. mkdir  /data/loki/{chunks,index}

复制代码

在日志服务器 上创建目次，用于文件存储和索引存储。
解压unzip loki-linux-amd64.zip，并设置config.yaml

1. auth_enabled: false
2. server:
3.   http_listen_port: 8094
4. ingester:
5.   lifecycler:
6.     address: 10.60.134.55 #日志服务器ip，即本机地址
7.     ring:
8.       kvstore:
9.         store: inmemory
10.       replication_factor: 1
11.     final_sleep: 0s
12.   chunk_idle_period: 5m
13.   chunk_retain_period: 30s
14. schema_config:
15.   configs:
16.   - from: 2024-04-01
17.     store: boltdb
18.     object_store: filesystem
19.     schema: v11
20.     index:
21.       prefix: index_
22.       period: 168h   #每张表的时间范围7天
23. storage_config:
24.   boltdb:
25.     directory: /data/loki/index   #索引文件存储地址
26.   filesystem:
27.     directory: /data/loki/chunks  #块存储地址
28. limits_config:
29.   enforce_metric_name: false
30.   reject_old_samples: true
31.   reject_old_samples_max_age: 168h
32. chunk_store_config:
33. # 最大可查询历史日期 7天,这个时间必须是schema_config中的period的倍数，否则报错。
34.   max_look_back_period: 168h
35. # 表的保留期7天
36. table_manager:
37.   retention_deletes_enabled: true
38.   retention_period: 168h

复制代码

并创建启动脚本start.sh和关闭脚本shutdown.sh

1. #!/bin/bash
2. nohup ./loki-linux-amd64 -config.file=./config.yaml >./server.log 2>&1 &
3. echo "$!" > pid

复制代码

1. #!/bin/bash
2. kill -9 `cat pid`
3. echo "关闭成功!"

复制代码

启动loki下令：sh start.sh。如下日志表示启动成功。
 

 
安装 grafana
起首解压grafana-enterprise-8.3.3.linux-amd64.tar.gz，创建启动脚本start.sh和关闭脚本shutdown.sh。注意conf/defaults.ini为grafana的设置文件，其中http_port为浏览器访问端口。

 启动grafana下令：sh start.sh。如下日志表示启动成功。

 
在应用服务器安装 promtail
在应用服务器 上创建目次 /usr/local/logsCollect/promtail用于安装promtail。
解压promtail-linux-amd64.zip，并设置promtail.yaml

1. server:
2.   http_listen_port: 9080
3.   grpc_listen_port: 0
5. positions:
6.   filename: ./positions.yaml
8. clients:
9.   - url: http://10.60.134.55:8094/loki/api/v1/push #日志服务器loki地址和端口
11. scrape_configs:
12. #ucenter1
13. - job_name: zcbackend-172.29.21.22-1
14.    static_configs:
15.    - targets:
16.        - 10.60.134.60
17.    - labels:
18.       job: zcbachend-172.29.21.22-1
19.       host: 10.60.134.60
20.       __path__: /jiuqi/zichan/zichanyitihuazhenghexiangmu-8084/backend/server.log  #本机日志路径

复制代码

并创建启动脚本start.sh和关闭脚本shutdown.sh

 启动promtail下令：sh start.sh。如下日志表示启动成功。

 
六、 测试
打开grafana。默认密码admin/admin。

 添加数据源

 测试连接

 查询日志

也能通过导入的方式添加面板，json文件如下：

1. {
2.   "annotations": {
3.     "list": [
4.       {
5.         "builtIn": 1,
6.         "datasource": {
7.           "type": "datasource",
8.           "uid": "grafana"
9.         },
10.         "enable": true,
11.         "hide": true,
12.         "iconColor": "rgba(0, 211, 255, 1)",
13.         "name": "Annotations & Alerts",
14.         "target": {
15.           "limit": 100,
16.           "matchAny": false,
17.           "tags": [],
18.           "type": "dashboard"
19.         },
20.         "type": "dashboard"
21.       }
22.     ]
23.   },
24.   "editable": true,
25.   "fiscalYearStartMonth": 0,
26.   "graphTooltip": 0,
27.   "id": 3,
28.   "iteration": 1671275851848,
29.   "links": [],
30.   "liveNow": false,
31.   "panels": [
32.     {
33.       "aliasColors": {},
34.       "bars": false,
35.       "dashLength": 10,
36.       "dashes": false,
37.       "datasource": {
38.         "type": "loki",
39.         "uid": "${ENV}"
40.       },
41.       "fill": 1,
42.       "fillGradient": 0,
43.       "gridPos": {
44.         "h": 5,
45.         "w": 24,
46.         "x": 0,
47.         "y": 0
48.       },
49.       "hiddenSeries": false,
50.       "id": 4,
51.       "legend": {
52.         "alignAsTable": true,
53.         "avg": false,
54.         "current": false,
55.         "max": false,
56.         "min": false,
57.         "rightSide": true,
58.         "show": true,
59.         "total": false,
60.         "values": false
61.       },
62.       "lines": true,
63.       "linewidth": 1,
64.       "nullPointMode": "null",
65.       "options": {
66.         "alertThreshold": true
67.       },
68.       "percentage": false,
69.       "pluginVersion": "8.5.10",
70.       "pointradius": 2,
71.       "points": false,
72.       "renderer": "flot",
73.       "seriesOverrides": [],
74.       "spaceLength": 10,
75.       "stack": false,
76.       "steppedLine": false,
77.       "targets": [
78.         {
79.           "datasource": {
80.             "type": "loki",
81.             "uid": "hJ7iGN-Sz"
82.           },
83.           "expr": "sum (count_over_time({filename=~"$log",host=~"$host"}[2m] )) by (host,filename)",
84.           "hide": false,
85.           "legendFormat": "{{host}}=={{filename}}",
86.           "refId": "B"
87.         }
88.       ],
89.       "thresholds": [],
90.       "timeRegions": [],
91.       "title": "日志量统计",
92.       "tooltip": {
93.         "shared": true,
94.         "sort": 0,
95.         "value_type": "individual"
96.       },
97.       "type": "graph",
98.       "xaxis": {
99.         "mode": "time",
100.         "show": true,
101.         "values": []
102.       },
103.       "yaxes": [
104.         {
105.           "$$hashKey": "object:319",
106.           "format": "short",
107.           "logBase": 1,
108.           "show": true
109.         },
110.         {
111.           "$$hashKey": "object:320",
112.           "format": "short",
113.           "logBase": 1,
114.           "show": true
115.         }
116.       ],
117.       "yaxis": {
118.         "align": false
119.       }
120.     },
121.     {
122.       "datasource": {
123.         "type": "loki",
124.         "uid": "hJ7iGN-Sz"
125.       },
126.       "description": "",
127.       "gridPos": {
128.         "h": 21,
129.         "w": 24,
130.         "x": 0,
131.         "y": 5
132.       },
133.       "id": 2,
134.       "options": {
135.         "dedupStrategy": "exact",
136.         "enableLogDetails": false,
137.         "prettifyLogMessage": false,
138.         "showCommonLabels": false,
139.         "showLabels": false,
140.         "showTime": true,
141.         "sortOrder": "Descending",
142.         "wrapLogMessage": true
143.       },
144.       "pluginVersion": "7.4.3",
145.       "targets": [
146.         {
147.           "datasource": {
148.             "type": "loki",
149.             "uid": "hJ7iGN-Sz"
150.           },
151.           "expr": "{filename=~"$log",host=~"$host"}|~ "(?i)$log_level"",
152.           "hide": false,
153.           "maxLines": 500,
154.           "refId": "C"
155.         }
156.       ],
157.       "title": "日志",
158.       "transparent": true,
159.       "type": "logs"
160.     }
161.   ],
162.   "refresh": "",
163.   "schemaVersion": 36,
164.   "style": "dark",
165.   "tags": [
166.     "PLG"
167.   ],
168.   "templating": {
169.     "list": [
170.       {
171.         "current": {
172.           "selected": false,
173.           "text": "Loki",
174.           "value": "Loki"
175.         },
176.         "hide": 0,
177.         "includeAll": false,
178.         "label": "选择环境",
179.         "multi": false,
180.         "name": "ENV",
181.         "options": [],
182.         "query": "loki",
183.         "queryValue": "",
184.         "refresh": 1,
185.         "regex": "",
186.         "skipUrlSync": false,
187.         "type": "datasource"
188.       },
189.       {
190.         "current": {
191.           "selected": true,
192.           "text": "资产server",
193.           "value": "资产server"
194.         },
195.         "datasource": {
196.           "type": "loki",
197.           "uid": "hJ7iGN-Sz"
198.         },
199.         "definition": "label_values({},filename)",
200.         "hide": 0,
201.         "includeAll": false,
202.         "label": "日志",
203.         "multi": false,
204.         "name": "log",
205.         "options": [
206.           {
207.             "selected": true,
208.             "text": "资产server-8084",
209.             "value": "/jiuqi/zichan/zichanyitihuazhenghexiangmu-8084/backend/server.log"
210.           },
211.           {
212.             "selected": true,
213.             "text": "资产server-8085",
214.             "value": "/jiuqi/zichan/zichanyitihuazhenghexiangmu-8085/backend/server.log"
215.           },
216.           {
217.             "selected": true,
218.             "text": "资产server-8086",
219.             "value": "/jiuqi/zichan/zichanyitihuazhenghexiangmu-8086/backend/server.log"
220.           },
221.           {
222.             "selected": true,
223.             "text": "公车server-8087",
224.             "value": "/jiuqi/gongche/yitihuagongchehouduan-8087/backend/server.log"
225.           },
226.           {
227.             "selected": true,
228.             "text": "公车server-8088",
229.             "value": "/jiuqi/gongche/yitihuagongchehouduan-8088/backend/server.log"
230.           }
231.          
232.          ],
233.         "query": "label_values({},filename)",
234.         "refresh": 1,
235.         "regex": "",
236.         "skipUrlSync": false,
237.         "sort": 1,
238.         "type": "query"
239.       },
240.       {
241.         "current": {
242.           "selected": true,
243.           "text": "172.29.21.22",
244.           "value": "10.60.134.60"
245.         },
246.         "datasource": {
247.           "type": "loki",
248.           "uid": "hJ7iGN-Sz"
249.         },
250.         "definition": "label_values({},host)",
251.         "hide": 0,
252.         "includeAll": false,
253.         "label": "主机IP",
254.         "multi": false,
255.         "name": "host",
256.         "options": [
257.          {
258.             "selected": true,
259.             "text": "资产-172.29.21.22",
260.             "value": "10.60.134.60"
261.           },
262.           {
263.             "selected": true,
264.             "text": "资产-172.29.21.164",
265.             "value": "10.60.134.48"
266.           },
267.           {
268.             "selected": true,
269.             "text": "公车-172.29.21.36",
270.             "value": "10.60.134.56"
271.           }
272.         ],
273.         "query": "label_values({},host)",
274.         "refresh": 1,
275.         "regex": "",
276.         "skipUrlSync": false,
277.         "sort": 1,
278.         "type": "query"
279.       },
280.       {
281.         "allValue": "(^\\\\S|^\\\\s)",
282.         "current": {
283.           "selected": false,
284.           "text": "All",
285.           "value": "$__all"
286.         },
287.         "description": "可以直接输入搜索的关键字进行过滤",
288.         "hide": 0,
289.         "includeAll": true,
290.         "label": "关键字过滤",
291.         "multi": false,
292.         "name": "log_level",
293.         "options": [
294.           {
295.             "selected": true,
296.             "text": "All",
297.             "value": "$__all"
298.           },
299.           {
300.             "selected": false,
301.             "text": "INFO",
302.             "value": "INFO"
303.           },
304.           {
305.             "selected": false,
306.             "text": "DEBUG",
307.             "value": "DEBUG"
308.           },
309.           {
310.             "selected": false,
311.             "text": "WARN",
312.             "value": "WARN"
313.           },
314.           {
315.             "selected": false,
316.             "text": "ERROR",
317.             "value": "ERROR"
318.           },
319.           {
320.             "selected": false,
321.             "text": "UNKNOWN",
322.             "value": "UNKNOWN"
323.           },
324.           {
325.             "selected": false,
326.             "text": "直接输入关键字搜索",
327.             "value": "直接输入关键字搜索"
328.           }
329.         ],
330.         "query": "INFO,DEBUG,WARN,ERROR,UNKNOWN,直接输入关键字搜索",
331.         "queryValue": "",
332.         "skipUrlSync": false,
333.         "type": "custom"
334.       }
335.     ]
336.   },
337.   "time": {
338.     "from": "now-1h",
339.     "to": "now"
340.   },
341.   "timepicker": {},
342.   "timezone": "",
343.   "title": "Loki日志收集",
344.   "uid": "NlV_8QD7k",
345.   "version": 19,
346.   "weekStart": ""
347. }

复制代码

logcollect.json

 

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。