Perl 程序：日志文件分析器

最新推荐文章于 2026-06-27 03:07:38 发布

原创最新推荐文章于 2026-06-27 03:07:38 发布 · 995 阅读

本内容遵循CC 4.0 BY-SA版权协议

功能说明：

本程序是一个日志文件分析器，能够分析大规模的日志文件并提取关键信息，例如 IP 地址、请求路径、时间戳等。它可以帮助系统管理员或开发者监控网站流量、排查问题、统计访问频率等。程序可以对日志中的不同字段进行统计，并输出详细的报告。它支持处理非常大的日志文件，并且能够高效地进行分析。

代码：

#!/usr/bin/perl
use strict;
use warnings;
use Time::Piece;
use IO::File;

# 配置常量
my $LOG_FILE = "access.log";  # 日志文件路径
my $OUTPUT_FILE = "report.txt";  # 输出报告文件

# 统计的字段
my %ip_count;
my %url_count;
my %hour_count;

# 读取日志文件并进行分析
sub analyze_log {
    my $log_file = shift;
    
    # 打开日志文件
    my $fh = IO::File->new($log_file, 'r') or die "无法打开文件 '$log_file': $!\n";
    
    while (my $line = <$fh>) {
        chomp $line;

        # 假设日志格式为：[IP 地址] [时间戳] "请求方法 请求路径 HTTP/协议" 状态码
        if ($line =~ /(\d+\.\d+\.\d+\.\d+)\s-\s-\s\[(.*?)\]\s"[^"]+"\s(\d+)/) {
            my $ip = $1;
            my $timestamp = $2;
            my $hour = Time::Piece->strptime($timestamp, "%d/%b/%Y:%H:%M:%S %z")->hour;
            my $url = $line =~ /"GET\s([^"]+)\s/ ? $1 : "/";  # 只考虑 GET 请求
            
            # 更新统计数据
            $ip_count{$ip}++;
            $url_count{$url}++;
            $hour_count{$hour}++;
        }
    }
    close $fh;
}

# 输出统计报告
sub generate_report {
    my $output_file = shift;
    
    # 打开输出文件
    my $fh = IO::File->new($output_file, 'w') or die "无法打开文件 '$output_file': $!\n";
    
    print $fh "=== 日志分析报告 ===\n\n";
    
    # 输出 IP 地址统计
    print $fh "IP 地址访问频率:\n";
    foreach my $ip (sort { $ip_count{$b} <=> $ip_count{$a} } keys %ip_count) {
        print $fh "$ip: $ip_count{$ip} 次\n";
    }
    print $fh "\n";

    # 输出 URL 访问频率
    print $fh "请求路径访问频率:\n";
    foreach my $url (sort { $url_count{$b} <=> $url_count{$a} } keys %url_count) {
        print $fh "$url: $url_count{$url} 次\n";
    }
    print $fh "\n";
    
    # 输出每小时访问量
    print $fh "每小时访问量:\n";
    foreach my $hour (sort { $a <=> $b } keys %hour_count) {
        print $fh "$hour:00 - $hour:59: $hour_count{$hour} 次\n";
    }
    
    close $fh;
}

# 主程序
sub main {
    print "请输入日志文件路径: ";
    chomp(my $log_file = <STDIN>);
    
    print "请输入输出报告文件路径: ";
    chomp(my $output_file = <STDIN>);
    
    # 开始分析日志
    analyze_log($log_file);
    
    # 生成并保存报告
    generate_report($output_file);
    
    print "日志分析报告已生成。\n";
}

# 执行主程序
main();

使用说明：

安装要求：
- 需要安装 Perl 环境。可以从 Perl 官方网站获取最新版本。
- 本程序使用 Time::Piece 和 IO::File 模块。Time::Piece 是 Perl 自带的时间处理模块，IO::File 用于文件操作。无需额外安装。
程序运行：
- 将代码保存为 log_analyzer.pl。
- 在终端（命令行）中运行该程序：
```
perl log_analyzer.pl
```
程序执行流程：
- 输入日志文件路径：用户需要提供一个包含服务器日志的文件路径，程序将读取该文件并分析其内容。
- 输入输出报告文件路径：用户指定保存生成的分析报告的文件路径，程序会将统计结果输出到该文件。
- 程序会从日志中提取 IP 地址、请求路径、请求时间等信息，并统计每个 IP 的访问次数、每个 URL 的请求频次以及每小时的访问量。
- 最后，程序会生成一个报告文件，详细列出各项统计信息。
日志文件格式假设：
本程序假设日志文件是类似以下格式的 Apache 访问日志格式：
```
192.168.1.1 - - [10/Apr/2025:14:25:37 +0000] "GET /index.html HTTP/1.1" 200
192.168.1.2 - - [10/Apr/2025:14:26:00 +0000] "GET /about.html HTTP/1.1" 200
192.168.1.1 - - [10/Apr/2025:14:30:45 +0000] "GET /index.html HTTP/1.1" 200
```
该格式包含 IP 地址、时间戳、请求方法和路径、状态码等信息。程序会从这些信息中提取有用的数据进行统计。

示例操作：
假设你有一个 access.log 文件，程序会按以下方式提取数据：

输入日志文件路径: access.log
输入输出报告文件路径: report.txt

程序将分析日志文件，并将以下内容输出到 report.txt 文件：

=== 日志分析报告 ===

IP 地址访问频率:
192.168.1.1: 2 次
192.168.1.2: 1 次

请求路径访问频率:
/index.html: 2 次
/about.html: 1 次

每小时访问量:
14:00 - 14:59: 3 次

注意事项：
- 日志格式：程序假定日志文件的格式是标准的 Apache 访问日志格式。如果日志格式不同，需要调整正则表达式进行匹配。
- 日志文件大小：该程序适用于大规模的日志文件，因为它逐行读取并处理，不会将整个文件加载到内存中。
- 输出报告：报告文件中会详细列出各项统计数据，用户可以根据需要进一步分析。
扩展：
- 状态码统计：可以增加对 HTTP 状态码的统计，例如找出哪些请求失败（状态码 4xx、5xx）。
- IP 排除：可以添加过滤功能，排除本地 IP 或爬虫访问等。
- 支持其他日志格式：程序可以通过调整正则表达式，支持其他类型的日志格式，如 Nginx、Tomcat 等。