本文介绍了一个基于Hadoop、Zookeeper、HBase和Flume的日志分析系统。该系统使用HDFS存储原始数据，Flume进行实时数据采集及转换，HBase作为存储数据库并支持Web界面查询。此外，还实现了周期性统计错误日志并通过邮件发送的功能。
基于Hadoop、Zookeeper、HBase、Flume框架上搭建一起来的一个日志分析系统。
使用Hadoop中的HDFS作为原始数据的存储，Flume作为数据的实时采集、转换等功能。
HBase作为数据的存储数据库，查询页面的数据都从这个分布式数据库中的一个表中获
取，根据应用程序的业务不同，查询不同的HBase表。实现了下面几大功能：
1 数据采集、转换和存储。正如上面介绍的一样，使用Flume，HDFS，HBase三大
构建实现这个功能。
2 查询不同系统的日志信息。提供Web界面，查询对应日志信息。
3 周期性统计错误日志信息，并使用邮件发出来。
使用Hadoop中的HDFS作为原始数据的存储，Flume作为数据的实时采集、转换等功能。
HBase作为数据的存储数据库，查询页面的数据都从这个分布式数据库中的一个表中获
取，根据应用程序的业务不同，查询不同的HBase表。实现了下面几大功能：
1 数据采集、转换和存储。正如上面介绍的一样，使用Flume，HDFS，HBase三大
构建实现这个功能。
2 查询不同系统的日志信息。提供Web界面，查询对应日志信息。
3 周期性统计错误日志信息，并使用邮件发出来。
扫一扫
1269
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
