Filebeat（Linux/Windows）搭建

最新推荐文章于 2025-10-14 19:45:59 发布

原创最新推荐文章于 2025-10-14 19:45:59 发布 · 置顶 · 695 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

ELK

本文介绍了Filebeat作为轻量级日志收集引擎的应用场景，包括如何在Linux和Windows环境中安装配置Filebeat，并将日志数据发送至Kafka。同时提供了详细的配置示例。

Filebeat介绍

隶属于Beats,轻量级数据收集引擎。基于原先Logstash-fowarder的源码改造出来。换句话说: Filebeat就是新版的Logstash-fowarder,也会是ELK Stack在Agent的第一选择,目前Beats包含四种工具:
1.Packetbeat (搜集网络流量数据)
2.Metricbeat (搜集系统、进程和文件系统级别的CPU和内存使用情况等数据。通过从操作系统和服务收集指标，帮助您监控服务器及其托管的服务。)
3.Frilebeat (搜集文件数据)
4.Winogbeat (搜集Windows事件日志数据)

Filebeat也是被ES官方收纳在一起了那么下载的话也需要去ES官网下载ES官网下载Filebeat
Filebeat官方文档

Filebeat安装Linux

1.上传并解压

tar xzvf filebeat-6.5.4-linux-x86_64 -C /data/elk/

2.修改filebeat.yml配置

filebeat.prospectors:
- input_type: log
  paths:
    - /data/nginx/logs/access.log
  json.keys_under_root: true
  json.add_error_key: true
  json.message_key: log
 
output.kafka:
 hosts: ["ip:9092"]
 topic: 'testtopic'

添加可执行权限

sudo chmod -R 777 filebeat

读取nginx的日志文件，到kafka中去，确保kafka中的topic存在
3.启动Filebeat

4.访问nginx生成日志
在这里插入图片描述
5.检查kafka消费者

这里消息格式有问题，占时先不管，消息已经抵达到kafka了

Filebeat安装Windows

1.下载对应的win安装包解压
不要放在中文目录
在这里插入图片描述
2.编辑启动配置文件

filebeat.prospectors:
- input_type: log
  enabled: true
  paths:
    - C:\Users\Administrator\Desktop\filebeat-6.5.4-windows-x86_64\test.txt
  json.keys_under_root: true
  json.add_error_key: true
  json.message_key: log
 
output.kafka:
 #version: "0.8.2.0"
 enabled: true
 hosts: ["192.168.0.188:9092"]
 topic: 'testtopic'

这里是读取C:\Users\Administrator\Desktop\filebeat-6.5.4-windows-x86_64\test.txt目录下的文件，写入到kafka中

3.启动
在这里插入图片描述

 .\filebeat -e -c .\filebeat.yml

4.测试
在上面路径下的test.txt任意输入内容
在这里插入图片描述

这里返回的Error是消息格式错误，先暂时不管
5.查看kafka

消息抵达kafka！

注意

在window启动时会有一个异常问题，就是无法连接kafka然后一直尝试连接，这里可能是kafka版本问题，或者是kafka主机解析失败
如果是kafka主机解析失败修改C:\Windows\System32\drivers\etc下的hosts将ip和主机名对应即可192.168.0.188 master

更多详细配置

filebeat.prospectors:
- input_type: log
  enabled: true
  #encoding: GB2312编码格式
  encoding: UTF-8
  #exclude_lines: ['^DBG'] 排除以DBG开头的
  #include_lines: ['^ERR', '^WARN'] 收集包含ERR、WARN开头的
  #exclude_files: ['\.log$']排除路径中以log结尾的文件
  paths:
    #- C:\Users\Administrator\Desktop\filebeat-6.5.4-windows-x86_64\tt\*.txt	收集tt目录下txt文件
    - C:\Users\Administrator\Desktop\live_xiuchang\live_Gateway\logs\2020-10\*\*.log	收集2020-10目录下子目录下以log文件
    - C:\Users\Administrator\Desktop\live_xiuchang\live_Live\logs\2020-10\*\*.log
    - C:\Users\Administrator\Desktop\live_xiuchang\live_Proxy\logs\2020-10\*\*.log
  #json.keys_under_root: true
  #json.add_error_key: true
  #json.message_key: log
processors:
- drop_fields:
    fields: ["beat","host","offset","source","metadata"]#排除这些字段
      
output.kafka: 
 enabled: true
 hosts: ["192.168.0.188:9092"]
 topic: 'testtopic'
#output.file:输出到文件中
#  path: C:\Users\Administrator\Desktop\
#  filename: test2.txt