java日志产生器开发并结合log4j完成日志输出到控制台以及flume中

最新推荐文章于 2024-07-10 03:26:31 发布

原创最新推荐文章于 2024-07-10 03:26:31 发布 · 628 阅读

1 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

java

Java学习之路

Spark大数据生态圈学习总结及项目实战

本文介绍了如何使用Java开发日志生成器，并结合Log4j将日志输出到控制台以及通过Flume进行收集。首先创建了一个Maven项目，引入相关依赖。接着在测试目录下设置了java源文件和resources资源文件，编写LoggerGenerator.java，并配置log4j.properties。随后在Linux环境中启动Flume，最后在IDEA中运行Java程序，观察Flume成功接收并输出日志的信息。

首先搭建一个maven项目，pom文件夹导入以下依赖

　　　　 <dependency>
            <groupId>org.apache.flume.flume-ng-clients</groupId>
            <artifactId>flume-ng-log4jappender</artifactId>
            <version>1.6.0</version>
        </dependency>

在项目的test测试文件夹下面新建一个java文件夹和resources文件夹，并标记化
在这里插入图片描述
然后在java文件夹下面新建LoggerGenerator.java文件

import java.util.logging.Logger;

/**
 * 模拟日志产生
 */
public class LoggerGenerator {

    private static Logger logger = Logger.getLogger(LoggerGenerator.class.getName());

    public static void main(String[] args) throws Exception{
        int index = 0;
        while(true) {
            Thread.sleep(1000);
            logger.info("current value is : " + index++);
        }
    }
}

在resources文件夹下面新建一个log4j.properties配置文件

log4j.rootLogger=INFO,stdout,flume

log4j.appender.stdout = org.apache.log4j.ConsoleAppender
log4j.appender.stdout.target = System.out
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} [%t] [%c] [%p] - %m%n


log4j.appender.flume = org.apache.flume.clients.log4jappender.Log4jAppender
log4j.appender.flume.Hostname = zq
log4j.appender.flume.Port = 41414
log4j.appender.flume.UnsafeMode = true

效果图：
在这里插入图片描述
修改flume的conf文件夹下面的配置文件streaming.conf

agent1.sources = avro-source
agent1.sinks = log-sink
agent1.channels = logger-channel

agent1.sources.avro-source.type = avro
agent1.sources.avro-source.bind = zq
agent1.sources.avro-source.port = 41414

agent1.channels.logger-channel.type = memory
agent1.sinks.log-sink.type = logger

agent1.sources.avro-source.channels=logger-channel
agent1.sinks.log-sink.channel=logger-channel

在这里我先在linux下运行flume程序:

flume-ng agent \
--conf $FLUME_HOME/conf \
--conf-file $FLUME_HOME/conf/streaming.conf \
--name agent1 \
-Dflume.root.logger=INFO,console

成功启动flume
在这里插入图片描述

这时候再在idea里面运行LoggerGenerator.java,会发现flume输出了相应信息
如下：
在这里插入图片描述

标签

#java #日志