20
2023
05
16:31:46

windows流量日志解析与集中存储的应用



推荐点击下面图片,通过本站淘宝优惠价购买:

image.png

需求

《中华人民共和国网络安全法》第21条第三款,要求网络日志需保存六个月以上。为了避免非预期的日志丢失,一般会将日志集中存储和分析管理,尤其是在出现网络攻击事件时,可从日志中找到蛛丝马迹,还原“案发”过程。

场景需求

将一台windows主机的系统日志、流量连接日志,集中存放在日志服务器中,并满足以自字义字段查看日志和筛选日志。

需求拆解

1、 集中存放windows主机日志

2、 日志字段自定义查询功能

3、 提取的日志种类

a) 系统日志

b) 流量日志

问题

为了满足需求,我们初步在开源的软件中,选择了ELK套件,实现日志集中存放的架构选型。ELK是由Elasticsearch、Logstash和Kibana组件共同构成。Elasticsearch是一个搜索和分析引擎。Logstash是服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到诸如Elasticsearch等“存储库”中。Kibana则可以让用户在Elasticsearch中使用图形和图表对数据进行可视化。ELK能轻松实现需求1需求2

对于windows系统日志,通过winlogbeat工具,在windows主机上安装、配置后,实现对系统日志的收集,发送给处理管道Logstash,最终存放在Elasticsearch中,由kibana的界面展示。满足了需求3的系统日志提取。

Windows主机的流量日志如何记录?又如何提取并发送给logstash呢?这两个问题,是本文重点要解决的问题。

二、 利用windows防火墙记录流量日志

在windows主机上,打开本地组策略编辑器(运行中,输入gpedit.msc),在计算机配置下的windows配置中,找到安全设置,在下方点开高级安全windows防火墙。

打开windows防火墙属性,首先配置域配置文件(专用配置文件、公用配置文件配置方法相同),在状态中启动防火墙,然后在日志中选择自定义,弹出框中,去掉未配置的勾,然后将记录被丢弃的数据包、记录成功的连接均选为是,然后确定退出。

到日志记录的目录中%systemroot%\system32\logfiles\firewall\pfirewall.log,看是否存在该日志文件。

若如上图所示,使用记事本,打开该文件,看是否存已有日志写入。

说明

该步骤中,可能存在权限设置问题。需确保用户NT Service\MpsSvc,对该文件有所有的访问权限。

若不存在这个用户,可通过点击下方的添加,将其加入,并给以所以允许的权限。

然后将主机重启,让服务重启生效即可。

三、 利用NXLog+Logstash提取和解析流量日志(一)

三.1 构建Grok正则表达式

本次需要实现对windows防火墙流量日志,通过frok正则提取,重新定义字段,然后集中存放,并实现自定义字段的查询功能。

原始数据条目:2021-12-03 22:08:33 ALLOW UDP 192.168.19.27 224.0.0.252 55228 5355 0 - - - - - - - RECEIVE

分析一下,该条目主要由以下字段共同构成:时间戳、动作、协议、源ip地址、目的IP地址、源端口、目的端口、数据包大小、7个标志位、方向。

三.1.1 时间戳

logstash中已有现成的字段可以匹配,%{DATESTAMP:datestamp}

三.1.2 动作

该字段,通过自定义表达示,然后引用。

ACTION (ALLOW|DENY|DROP),ACTION表示定义的表达式,()中是表达式,通过”|”,对多个可能的选项值隔离,表示该字段的值只需匹配这3种即可。

定义之后,我们在上方进行引用,即:%{ACTION:action},ACTION是引用自定义的表达式,并给该匹配的值取名为action(后面在elastic数据库中对该字段使用过滤查询功能)。

三.1.3 协议

同上。

三.1.4 源ip地址

编写的正则表达式前后顺序,匹配原始条目的内容,并赋予不同的字段。即源IP和目的IP。

自定义IP表达式,引用了系统中已定义的IPV4和IPV6表达式。

三.1.5 目的IP地址

同上。

三.1.6 源端口

为了精确匹配,将IP地址和端口一起和原数据条目匹配。自定义了端口表达式。端口字段可能是数字,还可能是符号”-“,比如对ICMP协议,是没有端口的。

三.1.7 目的端口

同上。

三.1.8 数据包大小

该字段的表达式为数字类,为了匹配准确,所以还是同IP地址共同确定匹配位置。

三.1.9 7个标志位

7个标志位的值,可能是数字,可能是字符“-”,同端口字段。该7个字段,可联和前面的IP地址确定位置,也可联合后面的方向字段确定位置。

三.1.10 方向

自定义DIRECTION字段,并引用。

三.1.11 表达式测试

放入同的样本数据,均可准确匹配。

四、 小结

本篇主要介绍了构建流量提取和解析需求,以及提取windows系统日志的方式,并为自定义数据流量要用到的Grok正式表达式的构建,作为实例介绍。


本文链接:https://hqyman.cn/post/4161.html 非本站原创文章欢迎转载,原创文章需保留本站地址!

分享到:





休息一下,本站随机推荐观看栏目:


« 上一篇 下一篇 »

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

您的IP地址是: