k8s部署 filebeat 步骤、踩坑及解决方案

原创

已于 2022-01-19 12:28:13 修改 · 1.1w 阅读

收录于

当前文章被以下社区和专栏收录：

于 2022-01-19 12:26:48 首次发布

本文介绍在Kubernetes环境中部署Filebeat的具体步骤与注意事项，包括配置文件详解、权限设置及常见问题解决方法。

写在最前

本文中部署 filebeat 的流程步骤，前置条件需安装好官方 k8s 的 operator ECK，以及准备好合适的环境，具体请参考前文：k8s部署生产级elasticsearch+kibana 步骤、踩坑及解决方案

部署

创建 filebeat.yml 配置文件

apiVersion: beat.k8s.elastic.co/v1beta1
kind: Beat
metadata:
  name: filebeat
  namespace: elastic-system
spec:
  type: filebeat
  version: 7.14.1
  elasticsearchRef:
    name: es
  config:
    filebeat.inputs:
      - type: container
        paths:
          - /var/log/containers/*.log
    
    processors:
      - add_kubernetes_metadata: # 增加 k8s label 等相关信息，方便筛选
          host: ${
   
   NODE_NAME} # 在 AWS EKS 托管服务中，这一项必须设置，否则拿不到数据
          matchers:
          - logs_path:
              logs_path: "/var/log/containers/"
      - drop_fields: # 这里可以根据需求增减需要去除的值
          fields: ["agent", "ecs", "container", "host", "input", "log", "offset", "stream", "kubernetes.node", "kubernetes.pod", "kubernetes.replicaset", "kubernetes.namespace_uid", "kubernetes.labels.pod-template-hash"]
          ignore_missing: