使用 Rancher 搭建的 K8S 环境采集 Spring Boot 日志有什么好的方案

This topic created in 2033 days ago, the information mentioned may be changed or developed.

目前我们的日志采集流程是 Spring Boot 服务生成 log 文件，Filebeat 采集 --> Logstash 进行 Grok，同时遇到 ERROR 日志发送到 RabbitMQ 来进行钉钉告警 --> ElasticSearch --> Kibana 搜索查看。

现在测试环境已经使用 K8S 来部署，如果使用 Rancher 里的日志设置直接发送到 ElasticSearch 里，没有 Grok 的过程，发送的日志格式不是我们想要的，ERROR 日志也不好告警了，想看看大家是如何进行这部分日志采集的。

Supplement 1 · Dec 3, 2020

目前已经搞定了一个方案，可能不是最好的，先这样用着，有空再试试其他方式。

1 、创建 PV 、PVC 映射主机目录
2 、设置 Spring Boot 日志文件位置，然后使用 PVC 映射到主机上
3 、创建 DaemonSet 模式的 Filebeat，然后把主机的日志目录映射到 Filebeat 容器里，这样 Filebeat 就能采集到 Spring Boot 日志了

这样的方式可以使用我们目前现有的 Logstash 、ElasticSearch 及 Kibana 。

日志

采集

k8s

rancher

8 replies • 2020-11-29 14:32:24 +08:00