Filebeat 收集 Kubernetes日志

鉴于容器自身的属性，一旦容器被重新构建，其内部的日志信息将会被清除，因此如何实现日志的持久化存储与集中管理成为一项具有挑战性的课题。借助 Elastic Stack 实现从数据采集、数据清洗、数据存储到数据可视化的全流程处理，从而充分挖掘数据所蕴含的价值，这一问题值得深入探讨。

架构设计

在 Elastic Stack 架构中，Filebeat 被设计用于收集与 Kubernetes Pod 相关的日志信息，Elasticsearch 则承担着数据持久化存储及检索的功能，而 Kibana 作为可视化工具，用于对所采集的数据进行图形化展示。

Docker 系统中容器所产生的日志信息默认保存于 /var/lib/docker/containers/ 这一路径下，该目录中的每个子文件夹均对应一个特定的容器标识符，而每个容器标识符所对应的 log 类型文件则记录了该容器的日志内容。

Kubernetes 在进行日志采集时，采用 DaemonSet 的部署机制，在集群中的每一个 Node 节点上运行 Filebeat 组件，以实现对当前节点上所有容器日志的集中收集。