你还用ES存请求日志？ClickHouse+Vector打造最强Grafana日志分析看板
为什么要做NGINX日志分析看板Grafana官网的dashboards有NGINX日志收罗到ES数据源的展示看板，也有收罗到LOKI数据源的展示看板，唯独没有收罗到ClickHouse数据源的展示看板。所以这个轮子是必须要造的。
为什么不使用ES存储
ElasticSearch是全文检索引擎的文档数据库，对于业务日志、异常日志、多行日志这类，非结构化、半结构化的日志数据，经常必要做关键字查询，模糊匹配等操作，非常适合使用es，使用倒排索引实现快速全文搜索。
ClickHouse是一个列式存储数据库，尤其擅长处置惩罚结构化的大规模的SQL查询和聚合分析操作，所以针对NGINX这类结构化的请求日志，在处置惩罚多维分析、聚合查询、分组统计等操作速度极快，而且压缩比极高，存储成本比ES低10倍，CPU、内存的占用也有巨大优势。
NGINX日志收罗架构
[*]基础架构
https://img2024.cnblogs.com/blog/1136118/202411/1136118-20241102150018101-180824116.png
[*]完整架构
https://img2024.cnblogs.com/blog/1136118/202411/1136118-20241102150018104-1099868700.png
Grafana请求日志分析看板预览
该看板是基于 ClickHouse + Vector 的NGINX请求日志分析看板。包括请求与耗时分析、异常请求分析、用户分析、地理位置分布图、指定接口分析、请求日志明细。
尤其在异常请求分析方面，总结多年异常请求分析经验，从各个角度设计大量异常请求的分析图表。
[*]团体请求与耗时分析
https://img2024.cnblogs.com/blog/1136118/202411/1136118-20241102150018188-214209505.png
[*]NGINX异常请求分析
https://img2024.cnblogs.com/blog/1136118/202411/1136118-20241102150018158-1426613548.png
[*]用户请求数据分析
https://img2024.cnblogs.com/blog/1136118/202411/1136118-20241102150018099-1582565115.png
[*]地理位置数据分析
https://img2024.cnblogs.com/blog/1136118/202411/1136118-20241102150018213-443149660.png
[*]指定接口明细分析
https://img2024.cnblogs.com/blog/1136118/202411/1136118-20241102150018208-1819816846.png
[*]请求日志详情分析
https://img2024.cnblogs.com/blog/1136118/202411/1136118-20241102150018116-487297937.png
导入NGINX请求日志分析的Grafana看板
Grafana看板ID：22037
下载地点：
https://grafana.com/grafana/dashboards/22037
留意：
[*]在Grafana中增长ClickHouse数据源时，留意点开Additional settings右边的箭头，设置Default database为存放日志的默认库，如上的：nginxlogs。
[*]如果你保存日志的表名不是access结尾的，项目菜单会没有数据，必要点击看板右上角的设置-变量-project，在下方的Regex项，输入你必要展示的日志表的正则，或者留空，展示默认库的所有表。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]