Python实现日志分析示例

python又一力作，感受python的强大。用70行代码实现日志分析程序

功能介绍：可直接对文本日至进行分组和排序功能，完了输出结果粘贴到excel里就可以直接生成图表，对于排查一些生产环境问题有很大的作用。

代码：

# @param 用70行代码实现日志分析程序?
# @author 编程之家 52php.cn|www.512Pic.com 

#encoding=utf-8
from optparse import OptionParser
import re
 
def get_args():
    def get_parser():
        usage = u"""%prog -f filename -r rule [-d] [-c]
用途：对文本文件按照指定模式进行分组并排序,主要分析文本日志用
注意：如果正则表达式里有分组，则提取第一分组，
      如果不希望这样，请使用正则的无捕获分组(?:)
示例：统计日志里每分钟的日志量，默认按时间正序排列
      python group.py -f log.txt -r "dddd-dd-dd dd:dd"
      统计日志里每个ip出现的次数，并按出现次数倒序排列
      python group.py -f input.txt -r "d+.d+.d+.d+" -c -d"""
        return OptionParser(usage)
 
    def add_option(parser):
        parser.add_option("-f","--file",dest="filename",help=u"需要分组的文本文件",metavar="FILE")
        parser.add_option("-r","--rule",dest="rule",help=u"分组的正则表达式",metavar="REGEX")
        parser.add_option("-d",action="store_true",dest="reverse",default=False,help=u"反序排列")
        parser.add_option("-c",dest="orderbycount",help=u"按数量排序,默认按匹配字符串排序")
 
    def get_options(parser):
        options,args = parser.parse_args()
        if not options.filename:
            parser.error('没有指定文件名')
        if not options.rule:
            parser.error('没有指定分组规则')
        return options
 
    parser = get_parser()
    add_option(parser)
    return get_options(parser)
 
options      = get_args()
filename     = options.filename
rule         = options.rule
reverse      = options.reverse
orderbycount = options.orderbycount 
regex        = re.compile(rule,re.IGNORECASE)
keys         = {}
 
def counter_key(key):
    keys.setdefault(key,0)
    keys[key] += 1
 
def print_keys():
    sort_key = (lambda d:d[1]) if orderbycount else (lambda d:d[0])
    temp_items = sorted(keys.items(),key=sort_key,reverse=reverse)
    for item in temp_items:
        key = item[0]
        print key,keys[key]
 
def get_key(line):
    m = regex.search(line)
    if m:
        return m.group() if regex.groups == 0 else m.group(1)
    return '!NotMatch!'
 
with open(filename) as f:
    for line in f:
        key = get_key(line)
        counter_key(key)
 
print_keys()

# End www.52php.cn

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!