前提:
用python写了一个简单的log分析,主要也就是查询一些key,value出来,后面也可以根据需求增加。查询出来后,为了好看,搞个html 表格来显示。
需要的组件: jinja2 flask 的模板。
先说下设计思路,主要是练习python代码玩,高手略过
模拟scrapy,搞个管线
每个管线分预处理,分析器,和后处理。预处理的话,可以筛选下数据,分析器提取关键信息,然后把结果丢给后处理。html报表就是在后处理生成。
再搞个manger类,管理很多个管线,虽然现在单路pipeLine就完成了,说不定以后还能扩展呢。
我们可以定义预处理,比如过滤一些不关注的关键字,或者关注一些特定关键字的行
预处理的话,只处理QtiDCT-C关键字的日志行。
然后把经过预处理后的数据丢给分析器
主要查询行数据行里面是否有keyword,然后根据分隔符,和结束符来提取内容
keyword delimiter xxxxxendwith 这样个模式
获取最终结果存储到字典里面 result[keyword]=xxxx。这里会trim,去掉 \r\n.
这样就有了结果集result.最后丢给posthandler 后处理。完成报表输出。
后处理主要是用jinja2的模板,然后传递参数,生成最终的html文件。
这里的jinja_template.temple, 内容如下
有了模板,就可以在渲染模板的时候提供字典,变量,在模板里面显示。最终完成报表的输出。
最终使用
最终在main 方法中,通过-d参数传入log所在目录,然后迭代所有的文件,使用input 把文本文件转换成行数据的list,丢给管线,最后把管线丢给manager,调用process ,完成txt日志的分析,到最后html的生产。