关注我们

WEB访问日志自动化分析浅谈

LzersLzers 安全文摘 2018-04-12 628161 0

1.概况

最近经常需要分析WEB访问日志,从中发现非法请求,然后做相应安全检查,为了方便,所以写了一个日志分析平台,支持提交iis,apapche,tomcat,ngnix等日志格式,代码使用python语言。

另外,文章中所有的截图、日志都是使用工具扫描自己搭建的环境产生的日志,不涉及到任何用户。

2.架构

WEB访问日志自动化分析浅谈

常规的WEB访问日志是没有POST日志的,所以能分析的内容都是基于GET参数、请求路径等,但是有些WAF日志是记录了所有的请求内容,可以用来丰富。

下面分别介绍下可以使用的功能

3.2数据查询

数据查询是最基础的功能,可以根据时间,ip等查询,这样就可以定义某个IP所有的行为,或者夜间某个时间点的访问日志

WEB访问日志自动化分析浅谈

针对敏感文件/目录的扫描则是判断文件的后缀、路径等,例如rar,bak,swp等

WEB访问日志自动化分析浅谈

sql注入和xss的日志如下:

WEB访问日志自动化分析浅谈

当然还有很多其他类型的日志,大家可以收集一下

使用TfidfVectorizer进行文本特征提取

TfidfVectorizer(ngram_range=(2,2))

然后用随机森林算法进行训练,准确率、召回率、F1参数

WEB访问日志自动化分析浅谈

3.5统计分析

统计分析中主要是对IP和页面进行统计分析,比如一般的黑客访问都是用国外的代理IP访问,所以将国外的IP筛选出来,定位分析是否存在安全风险。

WEB访问日志自动化分析浅谈

4.总结

1.本文只是将WEB日志分析中常用的检查方法用python实现出来,但是仍然有很多不足,并且还有一些功能还没实现。

2.由于没有POST数据,所以分析存在很多局限性。

3.可以用机器学习的其他模型来尝试解决该问题。

4.欢迎大家指正,或者提供一些自己平时用到的分析方法,感谢感谢。


版权声明

本文仅代表作者观点,不代表黑白网立场。
如文章侵犯了您的权利,请通过邮箱联系我们删除。
详情查看:版权纠纷
E-Mail:server@heibai.org

喜欢0评论已闭