logstash数据采集

最新推荐文章于 2025-02-05 08:51:39 发布

原创最新推荐文章于 2025-02-05 08:51:39 发布 · 2.3k 阅读

1 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#elasticsearch #logstash #运维

本文详细介绍了Logstash的使用，包括其作为数据处理管道的功能，如何安装配置，以及与Elasticsearch的配合。讨论了file输入插件、Syslog输入插件，还有多行过滤和grok过滤在解析日志数据中的应用。

一、logstash简介

Logstash是一个开源的服务器端数据处理管道。

logstash拥有200多个插件,能够同时从多个来源采集数据,转换数据,然后将数据发送到“存储库” 中。(大多都是 Elasticsearch。)

Logstash管道有两个必需的元素,输入和输出,以及一个可选元素过滤器。

输入:采集各种样式、大小和来源的数据

Logstash 支持各种输入选择 ,同时从众多常用来源捕捉事件。
能够以连续的流式传输方式,轻松地从日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。

过滤器:实时解析和转换数据
数据从源传输到存储库的过程中,Logstash 过滤器能够解析各个事件,识别已命名的字段以构建结构,并将它们转换成通用格式,以便更轻松、更快速地分析和实现商业价值。

利用 Grok 从非结构化数据中派生出结构
从 IP 地址破译出地理坐标
将 PII 数据匿名化,完全排除敏感字段
简化整体处理,不受数据源、格式或架构的影响

输出:选择存储库,导出数据

尽管 Elasticsearch 是首选输出方向,能够为搜索和分析带来无限可能,但它并非唯一选择。
Logstash 提供众多输出选择,可以将数据发送到要指定的地方,并且能够灵活地解锁众多下游用例

二、Logstash安装与配置

软件下载

下载中心 - Elastic 中文社区

logstash安装

[root@server4 ~]# rpm -ivh jdk-8u181-linux-x64.rpm
[root@server4 ~]# rpm -ivh logstash-7.6.1.rpm
[root@server4 bin]# ln -s /usr/share/logstash/bin/logstash /usr/bin
[root@server4 bin]# which logstash

三、elasticsearch输出插件

标准输入到es主机:

[root@server4 ~]# cd /etc/logstash/conf.d/
[root@server4 conf.d]# vim test.conf
input {
        stdin {}
}

output {
        stdout {}

        elasticsearch {
                hosts => ["172.25.6.1:9200"] #输出到的ES主机与端口
                index => "logstash-%{+yyyy.MM.dd}"#定制索引名称
        }
}

指定配置文件运行

[root@server4 conf.d]# logstash -f /etc/logstash/conf.d/test.conf

看到此信息为运行成功，输入

前端查看

四、file输入插件

[root@server4 conf.d]# vim test.conf

input {
        #stdin {}
        file{
                path => "/var/log/messages"
                start_position => "beginning"
}

output {
        stdout {}

        elasticsearch {
                hosts => ["172.25.6.1:9200"]
                index => "messages-%{+yyyy.MM.dd}"
        }
}
[root@server4 conf.d]# logstash -f /etc/logstash/conf.d/test.conf

输出结果

前端查看

注意：因为避免冗余，所以输出进度保存，如果需要重新采集，要先删除之前的

[root@server4 ~]# cd /usr/share/logstash/data/plugins/inputs/file/
[root@server4 file]# l.
.  ..  .sincedb_452905a167cf4509fd08acb964fdb20c
[root@server4 file]# cat .sincedb_452905a167cf4509fd08acb964fdb20c
51171156 0 64768 1037 1640365354.183566 /var/log/messages
[root@server4 file]# rm -f .sincedb_452905a167cf4509fd08acb964fdb20c

logstash会把进度保存到sincedb文件中

sincedb文件内容解释:

1. inode编号
2. 文件系统的主要设备号
3. 文件系统的次要设备号
4. 文件中的当前字节偏移量
5. 最后一个活动时间戳(浮点数)
6. 与此记录匹配的最后一个已知路径

五、Syslog输入插件

logstash可以伪装成日志服务器,直接接受远程日志

input {
        #stdin {}
        #file {
        #       path => "/var/log/messages"
        #       start_position => "beginning"
        #}
        syslog {
                port =>514
        }
}
output {
        stdout {}

        elasticsearch {
                hosts => ["172.25.6.1:9200"]
                index => "messages-%{+yyyy.MM.dd}"
        }
}

配置客户端传入日志

vim /etc/rsyslog.conf

[root@server1 ~]# systemctl restart rsyslog.service

查看logstash上的标准输出

六、多行过滤插件

多行过滤可以把多行日志记录合并为一行事件

input {
	#stdin {}
	file {
		path => "/var/log/my-es.log"
		start_position => "beginning"
		codec => multiline {
			pattern => "^\["
			negate => true
			what => previous
		}
	}
	#syslog {
	#	port => 514
	#}
}

output {
	stdout {}

	elasticsearch {
		hosts => ["172.25.6.1:9200"]
		index => "myes-%{+yyyy.MM.dd}"
	}
}

input {
        stdin {}
        file {
                path => "/var/log/my-es.log"
                start_position => "beginning"
        }
        #syslog {
        #       port =>514
        #}
}
output {
        stdout {}

        elasticsearch {
                hosts => ["172.25.6.1:9200"]
                index => "myes-%{+yyyy.MM.dd}"
        }
}

七、grok过滤插件

apache服务日志过滤

[root@server4 ~]# vim /etc/logstash/conf.d/grok.conf 


input {
	file {
		path => "/var/log/httpd/access_log"
		start_position => "beginning"
	}
}


filter {
      grok {
        match => { "message" => "%{HTTPD_COMBINEDLOG}" }
      }
}

output {
	stdout {}

	elasticsearch {
		hosts => ["172.25.6.1:9200"]
		index => "apachelog-%{+yyyy.MM.dd}"
	}
}

[root@server4 conf.d]# yum install -y httpd
[root@server4 conf.d]# echo server4 > /var/www/html/index.html

[root@server4 conf.d]# systemctl start httpd
[root@server4 conf.d]# curl localhost
server4
[root@server4 conf.d]# ll /var/log/httpd/access_log 
-rw-r--r-- 1 root root 10378 Dec 25 02:07 /var/log/httpd/access_log
[root@server4 conf.d]# chmod 755 /var/log/httpd
[root@server4 conf.d]# logstash -f /etc/logstash/conf.d/test.conf

前端查看