最近做了一下公司容器集群日志的收集方案架构…

一、初步架构图

初步架构

容器日志系统

二、预期目标

三、待改进

支持Kafka 消息缓冲的架构

初步架构

容器日志系统

Notes:在fluentd 处也可在docker最新版本中使用开源docker log driver to kafka 的插件替换。

项目地址:https://github.com/MickayG/moby-kafka-logdriver

四、原docker引擎配置修改

有2种方式:

1.Docker 容器启动时,需添加 --log-driver=gelf --log-opt gelf-address=x.x.x.x 参数.

2.fluentd daemon方式:在每个docker主机上启动一个fluentd容器,之后在启动其它相关应用时,使用--log-driver... ,该日志记录驱动程序将尝试查找本地Fluentd容器监听TCP端口24224上的连接。

五、需关注的功能

  1. 过滤特殊敏感字段
  2. debug日志多行方式如何收集?

参考