Loki 日志收集系统

一.系统架构


 
二.组成部分

 Loki 的日志堆栈由 3 个组件组成：

• promtail：用于采集日志、并给每条日志流打标签，每个节点部署，k8s部署模式下使用daemonset管理。 
  
• loki：用于存储采集的日志， 并根据标签查询日志流。单节点部署，一般和监控组件部署在同一节点。 
  
• Grafana：提供界面，实现日志的可视化查询。安装监控组件会默认部署grafana，与监控组件共用grafana。
  

源码地址：https://github.com/grafana/loki
三.promtail日志收集原理

　　默认情况下，容器日志会存储在 /var/log/pods 路径下

1. $ ls /var/log/pods
3. kube-system_kube-flannel-ds-amd64-9x66j_28e71490-d614-4cd8-9ea7-af23cc7b9bff           
4. lab_job-employee-cronjob-1615078800-n2rxh_134ce637-c2a7-47b8-896f-348931125acb
5. kube-system_kube-proxy-lfzmx_90605182-ae56-4085-801e-fc4a83531945
6. ...

复制代码

　　每个文件夹对应一个 Pod，Pod 下级目录为容器名，再下级即为容器日志。

1. $ tree kube-system_kube-flannel-ds-amd64-9x66j_28e71490-d614-4cd8-9ea7-af23cc7b9bff/
3. kube-system_kube-flannel-ds-amd64-9x66j_28e71490-d614-4cd8-9ea7-af23cc7b9bff/
4. ├── install-cni
5. │   └── 3.log -> /data/docker/containers/6accaa2d6890df8ca05d1f40aaa9b8da69ea0a00a8e4b07a0949cdc067843e37/6accaa2d6890df8ca05d1f40aaa9b8da69ea0a00a8e4b07a0949cdc067843e37-json.log
6. └── kube-flannel
7.     ├── 2.log -> /data/docker/containers/9e8eea717cc3efd0804900a53244a32286d9e04767f76d9c8a8cc3701c83ece5/9e8eea717cc3efd0804900a53244a32286d9e04767f76d9c8a8cc3701c83ece5-json.log
8.     └── 3.log -> /data/docker/containers/06389981d26cbe60328cd5a46af7b003c8d687d1c411704784aa12d4d82672b8/06389981d26cbe60328cd5a46af7b003c8d687d1c411704784aa12d4d82672b8-json.log

复制代码

　　日志文件 kube-flannel/3.log 只是对 /data/docker/containers/***/***.log 文件的软链接，本质上还是 Docker 维护日志， k8s 对其引用而已。　　日志是 JSON 格式的，每一行包含如下三个信息：

• log：日志内容
  
• stream：stderr(异常输出)、stdout(正常输出)
  
• time：时间
  

 　　注意：/data/docker/containers 并非 docker 默认的数据存储路径，是通过 /etc/docker/daemon.json 配置的。
 　　注意：上述提到 /var/log/pods 下的日志只是对 /data/docker/containers 下日志的软链接，所以 Promtail 部署时需要同时挂载这两个目录。

 四.Loki

 　　Loki是一个水平可扩展，高可用，多租户的日志聚合系统。Loki只会对日志元数据标签进行索引，而不会对原始的日志数据进行全文检索，收集的日志数据本身会被压缩，并以chunks（块）的形式存放在存储中。
4.1.组件


1.Distributor（分配器）

 　　日志写入第一站，一旦分配器接收到日志数据，他就会把日志分成若干批次，并将它们并行的传送到采集器。
　　分配器采用gRPC与采集器进行通信，它们是无状态的，所以我们需要根据实际状况进行扩缩容。
2.Ingester（采集器）

　　采集器负责将日志数据写入存储。
3.Querier（查询器）

　　查询服务器，负载处理LOGQL查询语句。
4.Chunk（块）存储

　　块存储是Loki的长期数据存储，旨在支持交互式查询和持续写入，无需后台维护任务。
　　
 

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！