Logstash Logback Encoder实现ELK日志归集

原创已于 2022-12-09 11:12:17 修改 · 1.9k 阅读

2 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

心得

于 2022-12-09 11:04:11 首次发布

本文介绍了在SpringCloud平台上利用Logstash Logback Encoder组件进行日志归集的方案。内容涵盖了Elasticsearch配置、Kibana的Index patterns设置、logstash.conf配置以及Logback.xml和pom.xml的修改。通过这些配置，实现了从日志生成到日志收集、展示的完整流程。

写在前面

搭建SpringCloud平台日志归集方案，主要使用Logstash Logback Encoder组件实现。
主要分为运维相关的配置和开发相关的配置，具体分类无需纠结，都了解一遍即可。
不足之处，各位大神指出，感谢~

运维相关配置

Elasticsearch配置

新建Index Templates，Mapping参考值如下，具体参考值可参考 Logstash Logback Encoder

{
  "_doc": {
    "_meta": {},
    "_source": {},
    "properties": {
      "appname": {
        "type": "text"
      },
      "stacktrace": {
        "type": "text"
      },
      "level": {
        "type": "text"
      },
      "port": {
        "type": "integer"
      },
      "service": {
        "type": "text"
      },
      "logger": {
        "type": "text"
      },
      "host": {
        "type": "text"
      },
      "thread": {
        "type": "text"
      },
      "levelVal": {
        "coerce": true,
        "index": true,
        "ignore_malformed": false,
        "store": false,
        "type": "integer",
        "doc_values": true
      },
      "message": {
        "type": "text"
      }
    }
  }
}

kibana相关配置

建立Index patterns。根据Elastic search的索引规则配置，建立Kibana的Index patterns。

logstash配置

logstash.conf配置文件，新增logstash.conf文件，内容如下

input {
tcp {
    mode => "server"
    port => 4561  # nacos指定的端口
    codec => json_lines
}
}

output {  
# stdout { codec => rubydebug } # 调试时开启，线上关闭
  if [platform] == "projectName" {
    elasticsearch {
        hosts => "elasticsearch:9200"
        index => "projectName-platform-%{+yyyy-MM-dd}"
    }
  }  
}

logstash启动命令

bin/logstash -f logstash.conf

nacos项目配置文件

nacos项目级-配置方法

projectName:
  logstash:
    open: true        #配置是否开启ELK日志收集
    appname: model （设置自身项目appname）
    ip: 192.168.xxx.xxx  #Logstash地址
    port: 4561        #Logstash TCP端口

开发相关配置

Logback.xml配置文件

增加Property配置

<springProperty scope="local" name="LOGSTASH_IP" source="projectName.logstash.ip"/>
<springProperty scope="local" name="LOGSTASH_PORT" source="projectName.logstash.port"/>
<springProperty scope="local" name="LOGSTASH_OPEN" source="projectName.logstash.open"/>
<springProperty scope="local" name="LOGSTASH_APP_NAME" source="projectName.logstash.appname" defaultValue="appname"/>

增加logstash appender

<!--logstash log appender-->
<if condition='property("LOGSTASH_OPEN").equals("true")'>
    <then>
        <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
            <destination>${LOGSTASH_IP}:${LOGSTASH_PORT}</destination>
            <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder" >
                <fieldNames class="net.logstash.logback.fieldnames.ShortenedFieldNames"/>
                <!-- 根据自身项目修改appname名称,在配置中心项目所属配置文件增加，同时需要修改logstash.conf配置 -->
                <customFields>{"appname":"${LOGSTASH_APP_NAME}"}</customFields>
            </encoder>
        </appender>
    </then>
</if>

增加root

<if condition='property("LOGSTASH_OPEN").equals("true")'>
    <then>
        <appender-ref ref="LOGSTASH"/>
    </then>
</if>

pom.xml配置文件

增加新的依赖

<!--logstash logback插件-->
<dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
</dependency>
<!--logback插件-->
<dependency>
    <groupId>org.codehaus.janino</groupId>
    <artifactId>janino</artifactId>
</dependency>