需求
《中华人民共和国网络安全法》第21条第三款,要求网络日志需保存六个月以上。为了避免非预期的日志丢失,一般会将日志集中存储和分析管理,尤其是在出现网络攻击事件时,可从日志中找到蛛丝马迹,还原“案发”过程。
场景需求
将一台windows主机的系统日志、流量连接日志,集中存放在日志服务器中,并满足以自字义字段查看日志和筛选日志。
需求拆解
1、 集中存放windows主机日志
2、 日志字段自定义查询功能
3、 提取的日志种类
a) 系统日志
b) 流量日志
问题
为了满足需求,我们初步在开源的软件中,选择了ELK套件,实现日志集中存放的架构选型。ELK是由Elasticsearch、Logstash和Kibana组件共同构成。Elasticsearch是一个搜索和分析引擎。Logstash是服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到诸如Elasticsearch等“存储库”中。Kibana则可以让用户在Elasticsearch中使用图形和图表对数据进行可视化。ELK能轻松实现需求1和需求2。
对于windows系统日志,通过winlogbeat工具,在windows主机上安装、配置后,实现对系统日志的收集,发送给处理管道Logstash,最终存放在Elasticsearch中,由kibana的界面展示。满足了需求3的系统日志提取。
Windows主机的流量日志如何记录?又如何提取并发送给logstash呢?这两个问题,是本文重点要解决的问题。
二、 利用windows防火墙记录流量日志
在windows主机上,打开本地组策略编辑器(运行中,输入gpedit.msc),在计算机配置下的windows配置中,找到安全设置,在下方点开高级安全windows防火墙。
打开windows防火墙属性,首先配置域配置文件(专用配置文件、公用配置文件配置方法相同),在状态中启动防火墙,然后在日志中选择自定义,弹出框中,去掉未配置的勾,然后将记录被丢弃的数据包、记录成功的连接均选为是,然后确定退出。
到日志记录的目录中%systemroot%\system32\logfiles\firewall\pfirewall.log,看是否存在该日志文件。
若如上图所示,使用记事本,打开该文件,看是否存已有日志写入。
说明
该步骤中,可能存在权限设置问题。需确保用户NT Service\MpsSvc,对该文件有所有的访问权限。
若不存在这个用户,可通过点击下方的添加,将其加入,并给以所以允许的权限。
然后将主机重启,让服务重启生效即可。
三、 利用NXLog+Logstash提取和解析流量日志(一)
三.1 构建Grok正则表达式
本次需要实现对windows防火墙流量日志,通过frok正则提取,重新定义字段,然后集中存放,并实现自定义字段的查询功能。
原始数据条目:2021-12-03 22:08:33 ALLOW UDP 192.168.19.27 224.0.0.252 55228 5355 0 - - - - - - - RECEIVE
分析一下,该条目主要由以下字段共同构成:时间戳、动作、协议、源ip地址、目的IP地址、源端口、目的端口、数据包大小、7个标志位、方向。
三.1.1 时间戳
logstash中已有现成的字段可以匹配,%{DATESTAMP:datestamp}
三.1.2 动作
该字段,通过自定义表达示,然后引用。
ACTION (ALLOW|DENY|DROP),ACTION表示定义的表达式,()中是表达式,通过”|”,对多个可能的选项值隔离,表示该字段的值只需匹配这3种即可。
定义之后,我们在上方进行引用,即:%{ACTION:action},ACTION是引用自定义的表达式,并给该匹配的值取名为action(后面在elastic数据库中对该字段使用过滤查询功能)。
三.1.3 协议
同上。
三.1.4 源ip地址
编写的正则表达式前后顺序,匹配原始条目的内容,并赋予不同的字段。即源IP和目的IP。
自定义IP表达式,引用了系统中已定义的IPV4和IPV6表达式。
三.1.5 目的IP地址
同上。
三.1.6 源端口
为了精确匹配,将IP地址和端口一起和原数据条目匹配。自定义了端口表达式。端口字段可能是数字,还可能是符号”-“,比如对ICMP协议,是没有端口的。
三.1.7 目的端口
同上。
三.1.8 数据包大小
该字段的表达式为数字类,为了匹配准确,所以还是同IP地址共同确定匹配位置。
三.1.9 7个标志位
7个标志位的值,可能是数字,可能是字符“-”,同端口字段。该7个字段,可联和前面的IP地址确定位置,也可联合后面的方向字段确定位置。
三.1.10 方向
自定义DIRECTION字段,并引用。
三.1.11 表达式测试
放入同的样本数据,均可准确匹配。
四、 小结
本篇主要介绍了构建流量提取和解析需求,以及提取windows系统日志的方式,并为自定义数据流量要用到的Grok正式表达式的构建,作为实例介绍。
推荐本站淘宝优惠价购买喜欢的宝贝:
本文链接:https://hqyman.cn/post/4161.html 非本站原创文章欢迎转载,原创文章需保留本站地址!
休息一下~~