mirror of
https://gitee.com/samwaf/SamWaf.git
synced 2026-11-22 08:57:42 +08:00
92 lines
3.2 KiB
Go
92 lines
3.2 KiB
Go
package wafqueue
|
|
|
|
import (
|
|
"SamWaf/common/zlog"
|
|
"SamWaf/global"
|
|
"SamWaf/innerbean"
|
|
"SamWaf/wafipban"
|
|
"SamWaf/waftask"
|
|
"strconv"
|
|
"time"
|
|
)
|
|
|
|
/*
|
|
*
|
|
处理Log队列信息
|
|
*/
|
|
func ProcessLogDequeEngine() {
|
|
// 同类安全事件折叠过滤器:每个「站点+IP+规则」键每分钟只落前 K 条明细(log_fold.go)。
|
|
foldFilter := newLogFoldFilter(200000)
|
|
for {
|
|
select {
|
|
case <-global.GWAF_QUEUE_SHUTDOWN_SIGNAL:
|
|
zlog.Info("日志队列处理协程收到关闭信号,正在退出...")
|
|
return
|
|
default:
|
|
global.GWAF_MEASURE_PROCESS_DEQUEENGINE.WriteData(time.Now().UnixNano() / 1e6)
|
|
if global.GDATA_CURRENT_CHANGE {
|
|
//如果正在切换库 跳过。此时不取队列,照旧固定歇一轮
|
|
zlog.Debug("正在切换数据库等待中队列")
|
|
time.Sleep(100 * time.Millisecond)
|
|
|
|
} else {
|
|
var webLogArray []*innerbean.WebLog
|
|
batchCount := 0
|
|
for !global.GQEQUE_LOG_DB.Empty() {
|
|
global.IncrementLogQPS() // 使用统一的日志QPS增量函数
|
|
weblogbean, ok := global.GQEQUE_LOG_DB.Dequeue()
|
|
if !ok {
|
|
continue
|
|
}
|
|
if weblogbean != nil {
|
|
// 进行类型断言将其转为具体的结构
|
|
if logValue, ok := weblogbean.(*innerbean.WebLog); ok {
|
|
webLogArray = append(webLogArray, logValue)
|
|
batchCount++
|
|
if batchCount > int(global.GDATA_BATCH_INSERT) {
|
|
break
|
|
}
|
|
} else {
|
|
//插入其他类型内容
|
|
global.GWAF_LOCAL_LOG_DB.Create(weblogbean)
|
|
}
|
|
}
|
|
}
|
|
if len(webLogArray) > 0 {
|
|
zlog.Debug("日志队列处理协程处理日志数量:" + strconv.Itoa(len(webLogArray)))
|
|
// 检查失败状态码并记录IP失败
|
|
if global.GCONFIG_IP_FAILURE_BAN_ENABLED == 1 {
|
|
ipManager := wafipban.GetIPFailureManager()
|
|
for _, log := range webLogArray {
|
|
if ipManager.IsFailureStatusCode(log.STATUS_CODE) {
|
|
ipManager.RecordFailure(log)
|
|
}
|
|
}
|
|
}
|
|
if global.GCONFIG_LOG_PERSIST_ENABLED == 1 {
|
|
// 分层落库:安全事件进 security_event(带报文),窄行进 access_log(按档位),
|
|
// web_logs 不再写入(旧数据只读到期删)。
|
|
// 全部在副本上动手,下面的统计与出口仍拿完整的原始对象。
|
|
storeTiered(foldFilter.filterForStore(webLogArray))
|
|
// 蓄水池采到的正常请求报文攒在内存里,到点整池刷成 event_payload(kind=sample)
|
|
negSampler.FlushIfDue()
|
|
}
|
|
// 日志流做统计
|
|
waftask.CollectStatsFromLogs(webLogArray)
|
|
// 分析层天级汇总(行为 / 目标 / 手法三视角)。键在本包算好再传过去:
|
|
// waftask 不能反向 import 本包,而键必须与窄行同源。
|
|
waftask.CollectAnalysisStats(AnalysisRowsFromLogs(webLogArray))
|
|
global.GNOTIFY_KAKFA_SERVICE.ProcessBatchLogs(webLogArray)
|
|
// 文件日志写入
|
|
global.GNOTIFY_LOG_FILE_WRITER.ProcessBatchLogs(webLogArray)
|
|
}
|
|
}
|
|
// 只在队列取空时歇一轮;有积压时立即取下一批,不在空等里浪费消费时间
|
|
if global.GQEQUE_LOG_DB.Empty() {
|
|
time.Sleep(100 * time.Millisecond)
|
|
}
|
|
global.GWAF_MEASURE_PROCESS_DEQUEENGINE.WriteData(time.Now().UnixNano() / 1e6)
|
|
}
|
|
}
|
|
}
|