本文共 2640 字，大约阅读时间需要 8 分钟。
随着互联网的快速发展，数据量呈爆炸性增长，安全分析领域面临着前所未有的挑战。传统的安全分析方法在处理海量数据时显得力不从心，无法满足实时、高效的需求。为了解决这一问题，Flink作为一种实时数据处理框架，逐渐在安全分析领域崭露头角。本文将基于涂鸦SOC平台建设经验浅谈Flink在安全分析领域的应用。
Flink是一个开源的分布式流处理框架，被设计用于对无界和有界数据流进行有状态计算。Flink具有以下特点：
Flink的时间窗口是用于处理流数据的一种机制，它可以帮助开发人员在流处理应用中更好地管理和处理时间相关的数据。在Flink中，时间窗口可以将流数据按照时间间隔进行分组，以便进行聚合、过滤等操作。时间窗口的长度可以是固定的，也可以是滑动式的。固定窗口会在指定时间内将数据分组，而滑动窗口则会根据一定的滑动距离对数据进行分组。使用时间窗口可以帮助开发人员更好地处理实时数据流，例如：
通过上述介绍，我们可以了解到Flink的基础知识，那么如何通过Flink进行安全分析呢？我们以一个最基础的针对登录的爆破攻击场景为例，我们创建一条规则：
为实现这一规则，我们在Flink中实现如下时间窗口（本例以滚动窗口为例，具体窗口类型以自身业务目标为准）：
keyBy(account).window(TumblingProcessingTimeWindows.of(Time.minutes(5)))
在窗口内进行数据统计超过50次则触发告警。这样我们就使用Flink实现了爆破攻击行为的检测。很完美，下班回家。
第二天接到业务方反馈存在误报行为，要求尽快解决。分析后发现时间范围太大导致有些正常用户请求也被识别为爆破攻击。那行，发现问题就好办，修改规则：
接下来我们看一下如何使用Flink去实现这一规则的修改：
下图展示了规则修改的简单过程：
[图片链接]
到了第三天业务方又来了，这次没有误报了，但是仍然存在大量攻击行为未被检测到。分析后发现规则配置条件太严格导致很多攻击行为也无法触发告警。没检测到攻击自然不存在误报了。行吧，继续改规则吧。我们再次调整规则：
那么这次我们又要重复上门的修改过程。整个过程如下所示：
[图片链接]
至此我们终于通过Flink实现了对爆破攻击行为的检测。我们回顾下整个过程，每次时间窗口的调整、规则的细微修改我们都要进行一次Flink任务的重启。而规则修改调整是安全运营中每条规则必不可少的过程。单一规则可能影响不大，但是想象一下如果我们配置了几十几百条规则的话Flink任务的调度会变成一个多么复杂的过程，对服务器性能也是极大的开销。那么在多规则的情况下，我们如何去实现呢？
针对以上现象我们提炼出两个核心问题：
针对问题1，我们引入的“基准窗口”的概念，比如以一分钟作为基准窗口，我们创建一个一分钟的滚动窗口，对这一分钟的数据进行计数、统计、聚合等预处理操作。当数据进入分析引擎时根据规则配置的时间窗口获取对应个数的基准窗口，同时对各个基准窗口的数据进行再次聚合，对符合规则条件的数据进行告警。这样我们就实现了不重启任务的情况下进行时间窗口的调整。
针对问题2，如何实现不重启的情况下进行规则的修改和调整呢，针对这个问题我们使用Flink的广播，当规则发生变化时我们使用Flink广播的形式将新的规则内容散发给Flink各个节点，节点会将新的规则与数据流进行绑定以便能够实时完成规则的更新。
整个过程如下所示：
[图片链接]
至此我们实现了一个稳定的Flink统计分析引擎，只需一个Flink任务即可实现多种统计规则的匹配，并可进行动态的规则更新。
基于上面爆破攻击行为检测的案例，我们进一步思考，对爆破攻击而言，爆破成功与爆破失败属于两种不同的威胁等级，应该对应不同的威胁处置流程。那么针对这种复杂的分析我们又如何实现呢？
经过多年的建设，涂鸦安全实时分析平台基于Flink实现了3大分析引擎：特征分析引擎、统计分析引擎、关联分析引擎。
对于上面的问题，我们可以通过统计分析引擎实现对爆破攻击行为的检测，通过特征分析引擎实现对登录成功行为的检测，最后使用关联分析引擎对特征分析引擎与统计分析引擎的结果进行管理，存在爆破攻击行为与登录成功行为的关联性则认定为爆破成功。
下图展示了涂鸦安全分析引擎完整链路图：
[图片链接]
随着互联网的发展和安全事件的增加，传统的安全分析方法已经无法满足需求。而Flink作为一种实时数据处理框架，在安全分析领域具有广泛的应用前景。在未来，我们相信Flink将在安全分析领域发挥更大的作用，推动信息安全事业的进步和发展。
转载地址：http://wcmbz.baihongyu.com/