【重编序言】2023年2月,笔者受邀撰稿,还是对SOAR的发展,尤其是中国市场的发展做出阐述。借此机会,笔者将2022年的《重新定义SOAR》一文进行了重编。事实上,这篇文章成稿跨越了2年(从2020年的《Gartner对SOAR的定义不断变化》开始)。这次重编,更新了笔者的一些观点,但坚定了笔者的更多观点,也对SOAR的价值有了更深的体会。这些新的感悟理应放入《重新定义SOAR》一文中。在此文刊印时,受篇幅所限,并没有全文刊载。现将2023重编版全文发布于此。
【正文】
SOAR的全称是Security Orchestration, Automation and Response,意即安全编排自动化与响应。从Gartner最早提出SOAR这个概念到现在已经过去了7年,期间伴随着国内外SOAR领域的不断实践,SOAR的概念持续不断地在演变中。特别是中国网络安全市场因其技术和应用发展的特殊性,逐步形成了对SOAR的特有认知,并促成对中国SOAR市场的重新定义。
定义1【2015年】:安全运营分析与报告(SOAR,Security Operations Analytics and Reporting)利用机读的状态化的安全数据来提供报告、分析与管理的能力,以支撑安全运营团队。SOAR的核心能力包括SIR(安全事件响应),SOA(安全编排自动化)和TVM(威胁弱点管理)。
SOAR utilizesmachine-readable and stateful security data to provide reporting, analysis and management capabilities to support operational security teams.
这是Gartner最初对SOAR的定义,表明Gartner已经开始注意到在SecOps(安全运营)领域威胁运营、资产与漏洞运营的重要性和安全编排的作用,并将这些运营相关的技术组合到一起。
定义2【2017年,SOAR创新洞察】:SOAR(Security Orchestration, Automation and Response)是一系列技术的集合,它使组织能够收集不同来源的安全威胁数据和告警,并借助人工与机器的组合操作进行事件分析和分诊,进而按照某种标准的工作流去帮助定义、确定优先级并推动标准化的事件响应活动。
SOAR are technologies that enable organizations to collect security threats data and alerts from different sources, where incident analysis and triage can be performed leveraging a combination of human and machine power to help define, prioritize and drive standardized incident response activities according to a standard workflow.
定义3【2018年,面向威胁的技术炒作曲线】:SOAR是一系列技术的合集,它能够帮助企业和组织收集安全运营团队监控到的各种信息(包括SIEM和其它安全系统产生的告警),并对这些信息进行事件分析和告警分诊。然后在标准的工作流的指引下,利用人机结合的方式帮助安全运营人员定义、确定优先级并推动标准化的事件响应活动。SOAR工具使得企业和组织能够对事件分析与响应流程进行数字化的描述。
SOAR refers to technologies that enable organizations to collect inputs monitored by the security operations team. For example, alerts from its SIEM and other security technologies, where incident analysis and triage can be performed leveraging a combination of human and machine power to help define, prioritize and drive standardized incident response activities according to a standard workflow. SOAR tools allow an organization to define incident analysis and response procedures in a digital workflow format.
可以发现,2017年Gartner对SOAR的定义做出了重大变更,将TVM移出SOAR的范畴,而将与威胁运营紧密相关的威胁情报平台(TIP)纳入其中,从而奠定了现代SOAR的概念。
这一时期(2017~2018年),SOAR的目标重点都落到了Response(响应)上,相当于“面向响应过程的安全编排与自动化”(SOA for Response)。进一步看,这个响应过程是收集——分析/分诊——处置。收集的信息是多源的,分析、分诊与处置的过程是人机结合的(不能100%依靠机器自动化),而整个响应过程是标准化的、流程化的。
定义4【2019年,SOAR市场指南】:SOAR能够让组织收集多种来源(主要是SIEM系统)的数据,并应用工作流来拉通各种流程和规程。这些流程和规程可以通过不同技术间集成化编排和自动化达成预期的目标,获得更好的可见性。附加的能力还包括案例和事件管理、威胁情报管理、仪表板和报表,以及跨功能的分析。
SOAR are technologies that enable organizations to take inputs from a variety of sources (mostly from security information and event management [SIEM] systems) and apply workflows aligned to processes and procedures. These can be orchestrated via integrations with other technologies and automated to achieve a desired outcome and greater visibility. Additional capabilities include case and incident management features; the ability to manage threat intelligence, dashboards and reporting; and analytics that can be applied across various functions.
定义5【2019年,面向威胁的技术炒作曲线】:SOAR能够让组织收集多种来源的数据,并应用工作流来拉通各种流程和规程。这些流程和规程可以通过编排(即不同技术间的集成)和自动化达成预期的目标。附加的能力还包括案例与事件管理、威胁情报管理、仪表板和报表,以及跨功能的分析。
SOAR aretechnologies that enable organizations to take inputs from various sources and apply workflows aligned to processes and procedures. They can then be orchestrated (via integrations with other technologies) and automated to achieve a desired outcome. Additional capabilities include case and incident management; the ability to manage threat intelligence, dashboards and reporting; and analytics that can be applied across various functions.
这个时期(2019年),SOAR的目标已经不再凸显Response(响应)了,而是泛指各种流程和规程,工作流(workflow)成为了核心,响应流程只是一类工作流。不论怎样的工作流,都要应用到编排与自动化的技术。此时的SOAR可以称作“面向运营工作流程的安全编排与自动化”(SOA for Operations Workflows)。同时,这一时期,国际上SOAR厂商趋于成熟,基本的SOAR功能逐步成型,Gartner对SOAR的基础功能也进行了总结。
进入2020年,Gartner对SOAR的定义发生了明显的变化。
定义6【2020年,安全运营炒作曲线】:SOAR是一类从各种来源获取输入,并应用工作流来拉通各种安全过程与规程,从而为安全运营人员提供机器协助的解决方案。这些规程可以被编排(通过与其它技术的集成)并自动执行以达成预期结果,譬如分诊管理,事件响应,威胁情报,合规性管理和威胁猎捕。
SOAR are solutions that add machine assistance to human security operators by taking inputs from various sources and applying workflows aligned to processes and procedures. Those procedures can then be orchestrated (via integrations with other technologies) and automated to achieve a desired outcome, such as triage management, incident responders, threat intelligence, compliance managers, and threat hunting.
定义7【2020年,SOAR市场指南】:SOAR是将事件响应、编排与自动化,以及威胁情报管理整合到一个平台之下的解决方案。SOAR工具用于记录和实现流程(譬如剧本、工作流和流程),支撑安全事件管理,为人类安全分析师和运营人员提供机器协助。工作流(譬如事件分诊、事件响应、威胁情报加工与管理、合规监测与管理)可以通过将不同技术集成以实现编排,并通过自动化去达成预期的目标。
SOAR are solutions that combine incident response, orchestration and automation, and threat intelligence (TI) management capabilities in a single platform. SOAR tools are also used to document and implement processes(aka playbooks, workflows and processes); support security incident management; and apply machine-based assistance to human security analysts and operators. Workflows can be orchestratedvia integrations with other technologies, and automated to achieve desired outcomes.
可以发现,2020年开始Gartner明显的变化在于强调SOAR是一种为安全运营人员提供机器协助的解决方案。具体可以分为两点:
1)强调了人在SOAR的主体地位和作用,以及机器智能、机器自动化的辅助增强作用。从2017年说“人机结合”到2018~2019年不提及,再到2020年重提人的重要性,能够体会到Gartner对于SOAR的认知和定位的厘清过程。这时候可以将SOAR为“面向运营人员的安全编排与自动化”(SOA for Human);
2)强调SOAR的三个组成部分:SIRP、SOA和TIP。
定义8【2021年,安全运营炒作曲线】:SOAR是一种技术方法,它将事件/案例管理、工作流、编排和自动化、响应和威胁情报管理结合在一个平台中。事件管理允许知识捕获和管理,以及工作流映射。编排和自动化为人工主导的过程和工作流程增加了机器辅助。威胁情报管理允许收集、处理和分发情报的管理和自动化。
SOAR is a technology approach that combines incident/case management, workflows, orchestration and automation, response and threat intelligence management in a single platform. Incident management allows for knowledge capture and management, along with workflow mapping. Orchestration and automation adds machine assistance to human-lead processes and workflows. Threat intelligence management allows for the curation and automation of ingesting, processing and distributing intelligence.
定义9【2022年,SOAR市场指南、安全运营炒作曲线】:SOAR是一个将事件响应、编排和自动化以及威胁情报 (TI) 管理功能组合在单个解决方案中的解决方案。SOAR 工具可用于许多安全运行任务,例如记录并实施流程;支持安全事件管理;向人类安全分析师和操作员提供基于机器的协助;更好地实现威胁情报实战化。
Gartner defines SOAR as solutions that combine incident response, orchestration and automation, and threat intelligence (TI) management capabilities in a single solution. SOAR tools can be leveraged for many security operations tasks, such as document and implement processes; support security incident management; apply machine-based assistance to human security analysts and operators; and better operationalize the use of threat intelligence.
分析上述定义,可以发现,从2020年至今,SOAR的定义基本稳定,仅在措辞上进行了一些完善。
在2022年4月,Forrester发布了新一期SOAR的技术市场报告,其中,对SOAR的定义如下。
定义10【2022,Forrester】:SOAR是一种将跨安全和业务生态系统的第三方工具集成到一起的自动化技术,实现对安全事件的分诊、协调,并采取基于剧本的协同行动。
SOAR isAutomation technology that integrates with third-party tools across the security and business ecosystem to triage, coordinate, and take coordinated, playbook-based action to security events. The goal of SOAR technology is to make security operations faster, less error-prone, and more efficient.
在2021年底,DHS的CISA发布的2022年到2026年战略性技术路线图中,将SOAR列入其中。
定义11【2021,CISA】:SOAR使用与组织中(或者与这些组织相连)的安全传感器和其它技术平台的连接来自动执行安全操作。SOAR技术可以配置为一系列操作组成的剧本或者工作流。这些操作包括响应动作,譬如告警分诊、隔离用户会话、运行漏洞扫描、开具工单、更新签名、警告分析师等。
SOAR technologies automate security actions using connections to security sensors and other technology platforms in (or connected to) an organization. SOAR technologies can be configured to execute playbooks or workflows that consist of a series of actions, including response actions (e.g., triage a list of alerts, quarantine a user session, run a vulnerability scan, open a ticket, update a signature, alert an analyst).
可以看到,Forrester和CISA同样认为编排是SOAR的核心,而响应是一种应用场景。同时,SOAR成为了安全运营自动化的代名词。
如果用一句话来概述SOAR,可以解读为:人员是根本、协作是使命、流程是基础、编排是核心、自动是手段、响应是场景、提效是目标。
人员是根本:SOAR强调以人为本。安全运营工作本质上是由安全运营团队及其相关干系人的一系列安全运营活动构成的。SOAR的目的是为了使能安全团队,为他们赋能,而不是取代他们。我们常说网络安全的本质是对抗,而对抗最终都是人与人之间的攻防。
协作是使命:安全运营过程中面临各种人、流程和技术之间的碎片。安全运营要取得成效,必须让团队、流程和技术协同起来,必须注重团队协作。SOAR不是取代协作,而是强化协作。
流程是基础:要实现实战化、有效化的安全运营,涉及的内容很多。其中,对于SOAR而言,其核心目标就是为了加速安全流程的标准化、自动化、智能化。因此,要想发挥SOAR的核心作用,必先梳理出组织自身的标准安全操作流程和规程。
编排是核心:编排是SOAR的核心和最重要的能力。编排的过程就是将团队、流程、技术和工具等各种要素以流程为纲整合到一起以服务于安全运营的过程。看一款产品是不是SOAR产品,第一条就是看其是否具备安全运营流程的编排能力。
自动是手段:对SOAR而言,自动化能力的高低决定了安全编排所能发挥的价值大小。一方面,安全编排往往通过自动化的手段来执行,以提升编排的执行效率,通过减少人的参与来降低人为错误因素的影响;另一方面,自动化是手段,不是目标,不要唯自动化。
响应是场景:安全编排与自动化适用于安全运营防御、检测和响应的各个环节,并不限于响应。但由于现阶段人们对于响应工作的重视,以及响应环节在安全运营工作中相对薄弱,SOAR首要的应用场景是响应。
提效是目标:SOAR的目标是辅助安全运营人员的工作,以数字化可度量的方式提升他们的工作效率,从而提升安全运营的效能,增强安全弹性。
近几年,在国际上,我们看到很多SIEM厂商纷纷加码SOAR,或者通过收购,或者通过自研,将SIEM的功能扩展到SOAR领域,有的将SOAR作为SIEM的一个功能,有的将SOAR与其SIEM甚至TIP等系统打包成安全运营套件。笔者做过分析,几乎所有2022年Gartner SIEM魔力象限中的厂商都具备SOAR功能或产品,他们纷纷发起对独立SOAR厂商的收购。
放眼国内,大部分SOAR提供商都同时是SIEM/安管平台/态势感知平台提供商,并且多是同一个团队在后面进行研发。
因此,很多人可能不禁会问:是否未来SOAR将成为SIEM/安管平台的一个部分?独立SOAR厂商/产品是否会消亡?其实,如果有心的话,可以看到这几年独立的SOAR厂商依然像雨后春笋般涌现。并且,这些新兴厂商开发了很多应用场景,已经超越了SIEM/安管平台所能覆盖的范畴。
笔者认为,在3到5年内,SOAR会不断与SIEM/安管平台进行多种形态的整合,甚至还会跟其他多种产品(譬如XDR、数据安全平台、零信任平台)进行整合,发展为“嵌入式SOAR”,但独立的SOAR会依然存在,能够中立地跟第三方系统(如SIEM/安管平台、数据安全平台、零信任平台)集成,发展为“开放式SOAR”,并且会与SIEM/安管平台越来越不相同。但无论如何,SIEM/安管平台和SOAR都是安全运营中心的组成部分,这一点不会变。
正如Gartner SOAR报告所言,SOAR与SIEM是一个交集的关系,二者的交集在于威胁检测与事件响应。也就是说,SOAR的应用场景除了威胁检测与响应,还有其他超越SIEM的应用场景。
可以说,只要是安全运营工作,都可以通过编排和剧本去实现(部分)自动化。譬如员工入职后的各系统开通,员工离职时的各系统账号清除,堡垒机账号梳理,零信任中的持续行为评估,攻防演练,安全中台的能力编排,等等。
从这个角度来说,再把SOAR局限于安全事件响应显然是小看SOAR了。对SOAR而言,SOA的重要性越来越凸显。所以笔者一直强调,响应是SOAR的一个场景,尽管是最重要的场景,但也仅仅是一种场景。编排才是SOAR的核心,编排让SOAR具备了更多的可能性。
目前,中国客户(尤其是头部客户)对SOAR正在迅速从旁观者向参与者转变。越来越多的中国用户开始落地SOAR,越来越多的中国厂商发布SOAR产品或者模块。近两年赛迪咨询都对用户使用SOAR的情况和意愿进行过调研,SOAR已经成为安全运营建设时考察的关键能力之一。而根据Gartner对中国的安全运营市场进行的调研,以及数世咨询、安全牛、嘶吼等发布的安全全景图,都能发现提供SOAR能力的厂商大幅增加。
根据笔者对中国市场的观察以及深入实践,发现中国SOAR市场逐步呈现出一些不同于国际市场的特点:
1)正如笔者在2020年所言,SOAR在国内落地的时候,基本上将TIP(威胁情报平台)作为一个外部系统进行集成而非作为一个内在的功能集合。国内客户基本上都将TIP看作一个独立的基础性、支撑性产品/平台,为SIEM、安管平台、态势感知、SOAR,甚至安全设备等提供情报赋能。因而,客户在考虑威胁情报的时候,通常不会咨询SOAR产品厂商,甚至都不会咨询安管平台/态势感知平台的提供商。这并不是说SOAR与TIP之间没有关系。一方面,SOAR在进行告警和安全事件调查的时候需要利用威胁情报进行辅助研判,并可以将这个研判过程编排化、自动化;另一方面,也是往往容易忽略掉的,在于SOAR、尤其是编排自动化有助于提升TIP自身的运营水平,譬如内生情报的产生。可以说,目前国内的TIP的运营化水平都还比较初级。因此,基于国内的现状,国内的SOAR平台更多是与TIP进行松耦合的解决方案集成,而非将TIP作为SOAR的一个/组模块功能。此外,Gartner将TIP植入SOAR还有一个原因,就是美国政府(包括民事和军事)在实践SOAR的时候首先从威胁情报的共享和基于情报的响应这个应用场景开始的。
2)中国的平均安全运营水平低于国外(尤其是美国),在落地SOAR的时候有些理念存在不同。一般来说,客户要想使用SOAR,首先应该有相匹配的安全运营成熟度,尤其是存在固化的安全运营流程,譬如有SOP(标准操作规程),有相对固定的运营人员。一旦客户具备前述条件,对SOAR的需求就是自然而然的一件事,使用SOAR的过程就是将现有的流程转移到SOAR中,形成剧本,提升现有运营人员的工作效率。Gartner反复强调这点,并建议低运营水平的客户去寻求MSS的帮助,购买效果导向的服务而非SOAR产品。笔者认为,上述观点没有毛病。但国内的客户就应该先闷头提升运营流程和人员,再考虑SOAR吗?或者说,SOAR的应用能否为部分客户的运营水平提升提供帮助?其实,这个问题的答案就跟我们经常说的“三同步”是相通的。对于那些注定需要自建安全运营能力的客户而言,如果他们已经有了运营团队(尽管可能很小),有了宏观的安全流程并且运营团队实际在开展运营工作(尽管可能没有SOP),那么虽然此时距离使用SOAR所需的成熟度还有一些差距,但这时候使用SOAR得当的话,是有助于反向提升运营水平的。譬如,在对安全告警进行响应的时候,尽管没有现成的SOP,但有基本的流程(尤其是岗位和部门间职责界定相对清晰),就可以借鉴SOAR厂商提供的剧本模板和样例,借鉴业界的最佳实践,结合自身的需要,创建或者完善某个具体的事件响应流程。或者,还可以不从剧本入手,而从使用应用(App)、快速调用App的动作入手,降低工具切换的时间成本,先稍微缓解告警处理疲劳;然后再从实战中总结这些动作/操作的规律和经验,提取剧本,从而降低后续同类工作的时间成本。再者,可以先通过工具化的SOAR将一些简单的重复性工作自动化,形成几个经典实战化应用场景,真正提升运营团队的工作效率,拿出看得见的效果和度量指标,进而说服管理层提升对安全运营工作的重视程度,加大流程建设、队伍建设、自动化运营建设的投入。
结合上述对Gartner的SOAR历史沿革的分析,对国内外SOAR最新发展和应用动态的分析,笔者提出一个全新的SOAR定义:
定义12:安全编排自动化与响应(SOAR)系统是一系列提升安全运营效率的技术集合。它在安全运营流程和规程的指引下,将与安全运营相关的第三方工具通过编排整合到一起,以自动化和高交互的形式辅助安全运营人员开展安全运营工作,并内建对安全事件的采集、分诊与响应。
这个定义的核心是“提升安全运营效率”,这是SOAR的目标,而安全运营流程和规程的牵引体现了SOAR的基础,编排是SOAR的核心和抓手,自动化和交互式响应(譬如基于Chatbot的作战室)则是多样化的运营辅助手段,而整个过程都围绕安全运营人员展开,体现了人的根本地位。最后,对安全事件的采集、分诊与响应是SOAR内置的一个应用场景。
在我国通信行业标准《安全编排自动化响应系统评价方法》的征求意见稿中,笔者也积极参与,阐述观点,得到了标准组各厂商成员的认可,将SOAR定义为:
定义13:SOAR是一系列技术的合集,它能够帮助企业和组织收集安全运营团队监控到的各种信息(包括各种安全系统产生的告警、单点资产的状态信息、各类产品的操作日志信息等),基于这些信息进行事件分析与告警分诊,并将运营过程中涉及的的第三方工具、能力通过编排形式进行集成,从而显著地为常见安全运营工作带来效率提升,如威胁检测、安全事件响应、威胁情报调查等。
SOAR以安全编排和自动化为核心,以安全事件响应为必备应用场景,充分利用威胁情报,辅助安全运营人员高效开展各项安全运营工作。SOAR在现有以数据为中心的安全运营框架基础之上增加了一个以流程为中心的编排层,进一步完善和丰富了安全运营的体系,将人、流程、技术和工具整合到一起,提升了安全运营的实战化水平。
未来,随着超自动化(hyperautomation)技术不断应用到安全领域,以及诸如ChatGPT等基于AI的Chatbot技术的成熟,SOAR除了在自动化运营方面继续上台阶外,还能提供更智能的交互式运营手段,SOAR的应用场景将更为广阔。
SOAR引领的安全运营新时代已经到来。未来可期!