看穿供应商的说辞：解释MITRE ATT&CK的评估结果

2023年10月16日

写在前面：MITRE Engenuity 每年都会进行一次企业评估，主要是评测EDR产品，使用某著名APT组织在实际入侵中使用的攻击手法，衡量厂商的检测情况，非常具有现实意义。但MITRE Engenuity不进行排名和打分，只是把测试结果发布出去请客户自己判断。本文是对其检测过程做个说明，帮助客户厘清参数指标的真实意义。由于本文是两篇文档合成的，而且译自Cynet的博客，所以最后的几张图是Cynet的总结，并不是MITRE Engenuity原文。

今年评测使用的是APT组织Turla的攻击手法，这是一个总部位于俄罗斯的威胁组织，已经感染了超过45个国家的受害者。

本篇文档的目的主要是介绍MITRE Engenuity评估过程，同时请大家了解当前国外EDR产品的厂商实力，作为工作中的参考。‍‍‍‍‍‍‍‍‍

看穿供应商的说辞：解释MITRE ATT&CK的评估结果

        2023年MITRE ATT&CK企业评估结果刚刚发布，所有参与的供应商都在尽力展示自己最好的一面。不幸的是，许多表现不佳的供应商粉饰结果，好像他们做的还不错，而实际却并非如此。供应商群体已经变得如此擅于包装，以至于那些不了解MITRE ATT&CK评估过程的人很难看穿这些花招。

        下面我们将讨论MITRE ATT&CK 的主要评估类别，如何评衡量它们，以及在评估供应商表现时应该注意什么。然后你就可以访问参与者的网站，准确地了解他们在说什么(没有说什么)。

MITRE ATT&CK 基础知识

        MITRE Engenuity开发了MITRE ATT&CK框架，这是攻击者实现目标时广泛使用的14种战术的通用过程。现实世界中的攻击可能包括这14种战术中的任何一种。每种战术都包含多种技术，这些技术描述了对手为实现战术目标而进行的实际活动。

MITRE ATT&CK企业评估

        每年，MITRE都会通过模仿攻击者使用的战术和技术来举行模拟攻击。模拟攻击由多个步骤组成，每个步骤通常代表MITRE ATT&CK框架中的一种战术。今年，攻击序列由19个步骤组成，其中一些战术使用多次。例如，今年19个步骤中的6种是某种形式的“横向移动”战术。

        为了说明这一点，以下是第1天测试中针对Windows和Linux的多步活动使用的10个步骤。每一个步骤都代表一种战术。

1. 1.   初次入侵

2. 2.   首次访问

3. 3.   发现和特权升级

4. 4.   持久性

5. 5.   横向移动到域控制器

6. 6.   凭证访问

7. 7.   发现

8. 8.   凭证访问

9. 9.   Linux横向移动

10. 10. 水坑

步骤vs子步骤

        MITRE ATT&CK评估分为几个步骤，每个步骤通常模拟MITRE ATT&CK框架中的一种战术。

        对于每个步骤，MITRE使用多个子步骤，这些子步骤通常模拟MITRE ATT&CK框架中的技术。

        例如，在2023年的评估中，MITRE使用了19个步骤，这些步骤被分解为143个子步骤。MITRE ATT&CK评估的测试在4天内完成。我们将在下面更详细地介绍这些测试。

• 第1天-评估场景一的威胁检测和分类能力。

• 第2天-评估场景二的威胁检测和分类能力。

• 第3天-评估第1天和第2天遗漏的内容，并更改配置进行测试。

• 第4天-评估保护措施。

检测vs可见性

        当讨论MITRE结果时，我们首先对这两个引起严重混淆的术语进行分析。如果不理解这些术语，就不可能正确分析MITRE结果。

检测

        有趣的是，在讨论MITRE ATT&CK评估结果时，人们通常使用术语“检测”来衡量检测到的步骤数量。如果检测到步骤大类中的一个或多个子步骤，则认为该步骤已检测到。例如，如果一个步骤由9个子步骤组成，并且9个子步骤中有1个子步骤被检测到，而9个子步骤中有8个子步骤被遗漏，则认为该步骤被成功检测到。只要供应商检测到该步骤中的一个子步骤，他们就认为这是该步骤的成功检测。

        一个极端的例子是，供应商只检测到了19个步骤中每个步骤中一个子步骤，声称已经实现了100%的_检测_。今年使用了143个子步骤，这意味着供应商错过了124个子步骤(错过了87%的威胁)，但仍然拥有100%的_检测_。总的来说，_检测_代表了MITRE ATT&CK评估的低标准。

可见性

        _可见性_通常是指在所有步骤中检测到的子步骤的总数。这种计算往往更直观一些，因为它简单地说明了从子步骤总数中检测到的子步骤数。有时供应商会混淆_检测_和_可见性_这两个术语，所以你必须深入研究一下，以确定他们实际上指的是哪个定义。可见性_差的供应商几乎总是更多地提及_检测，这个难度要低得多。

        许多供应商对每个步骤至少能实现一个检测，但对子步骤的检测水平较低，当他们的可见性(检测到的子步骤的百分比)可能相当低时，他们会声称100%检测。例如，在今年的评估博客中，有一家供应商的_可见性_为67%，他们实现了100%的_检测_。他们没有提到他们错过了三分之一的子步骤威胁。

        现在我们可以看到100%_可见性_远远比100%_检测_更有意义，100%_可见性_意味着100%检测，但100%检测_并不能说明_可见性。

分析覆盖率（Analytic coverage）

        配置未更改的情况下实时检测子步骤的能力对于端点保护平台至关重要。每次检测的质量也是衡量平台能力的重要指标，在调查报警时为安全分析师提供有用上下文信息，指明是真正的威胁还是误报。报警提供的有用信息越多越好。

        MITRE为每个_检测_子步骤分配以下_检测_类别。

• 技术—给出动作如何执行的信息，或者帮助回答“做了什么，为什么做，怎么做”的问题。

• 战术—提供有关活动潜在意图的信息，或帮助回答“做了什么以及为什么做”的问题。

• 通用-给出恶意/异常事件发生的具体信息，不提供 “为什么”或“如何”，“做了什么” 上下文说明。

• 遥测-提供与发生的事件相关的信息，而不指定恶意活动发生或提供上下文。

• 无-没有提供关于执行的操作的数据，错过了检测。

        通用、战术或技术的_检测_归在“分析覆盖率”下，这是EDR工具提供可操作威胁检测能力的度量。分析覆盖率检测到的子步骤越多越好。

配置更改和延迟检测

        以下是MITRE ATT&CK评估中另外两个令人困惑的元素，为了公平地评估供应商的表现，必须理解这两个元素。

配置更改

        在对场景进行全面测试后，MITRE允许供应商对其系统进行更改并重新测试整个攻击步骤。也就是说，在供应商知道他们错过了_检测_之后，他们可以充分地更改他们的系统设置，并尝试检测已知的、错过的威胁。虽然这种方法在实际场景中没有意义，但它确实承认测试团队可能犯了配置错误，并允许团队纠正错误。每个安全从业者都想买一台时光机，可以带他们回到错过危险威胁的时间，以便重来一次。

        必须知道供应商的结果是在配置更改或未更改的情况下发生的。今年，一个供应商的分析覆盖率在配置更改后从78%上升到98%，而另一个从96%上升到100%。类似地，在配置更改后，一个供应商的可见性结果从85%上升到100%。所有这些供应商都称赞他们的得分更高，但从来没有提到配置的变化。

延迟检测

        在测试期间，可以实时(或接近实时)发现_检测_，也可以在恶意活动发生后延迟几分钟或几小时。如果未及时观察到所述_检测_，则注明延迟检测。当端点代理本身无法根据提供的数据检测到威胁时，通常会发生这种情况。后端系统收集其他数据后，才可以确定是否发生了恶意活动。

        与实时报警不同的是，延迟报警可能需要几分钟到几小时的时间。实时报警是由平台实时做出的决策。在现实世界中，实时报警至关重要。例如，如果供应商以延迟的方式而不是实时检测到勒索软件，则可以在供应商提供_检测_之前对受感染的机器进行加密。延迟报警意味着没有报警。没有报警意味着没有保护。这就是为什么对恶意活动设置自动、实时报警总是更好的原因。

保护

        MITRE还为供应商提供了参与检测评估期间使用的攻击步骤子集的保护方案的机会。保护评估是在最后一个测试日进行的简短测试。今年，保护测试被分解为13个攻击序列，每个攻击序列由多个攻击步骤组成，总共129个步骤。其中一个序列只包含2个步骤，而其他序列则包含超过12个步骤。结果包括在每个序列中是否有任何步骤被阻止，以及在攻击序列中多早实现阻止。

        对于保护测试，阻止每个序列中的早期步骤意味着不运行后续步骤，因为认为攻击序列已被阻止。这种方法不测试129个步骤中有多少可以被单独阻止，而是测试13个序列中有多少步骤在序列的任何地方被阻止。这意味着供应商可能会错过序列中的前14步，然后阻止第15步和最后一步，从而认为该序列已被阻止。或者，供应商可能会阻止第一步，并且可能会错过序列中的后续步骤，但这没有经过测试。100%_保护_意味着每个攻击序列中的一个步骤被阻止。

        _保护_结果不像评估的检测部分那样考虑任何上下文信息。如果威胁被阻止，供应商可能会或可能不会包含有关威胁本身的信息，但这些信息不包括在测试结果中。_保护_结果很重要的，但是考虑到在这部分花费的时间非常短和测试限制，它不如_可见性_和_分析覆盖率_重要。

最终结论

        当你仔细阅读这些有创意的供应商图表时，其中许多是用一些令人困惑的格式汇总出来的，只是为了把供应商的结果放在一个好的角度上，请记住上面的考虑。

        到目前为止，重要的MITRE ATT&CK评估措施有:

• 可见性(检测到的子步骤)：在配置更改之前，没有延迟的检测效果

• 分析覆盖率（技术、战术或通用检测)：在配置更改之前，无延迟的检测效果

        MITRE ATT&CK评估是一个有价值的资源，可用于提醒您在选择安全供应商时的决定。表现最好的MITRE ATT&CK评估表明供应商的解决方案可能在检测现实世界的威胁方面表现良好。了解如何解释MITRE ATT&CK评估结果是很重要的，这样您就可以正确地评估每个供应商的能力——强调重要的评测，忽略那些不重要的。

如何解释MITRE Engenuity ATT&CK 评估：企业-2023 Turla 版

        在网络安全领导者及其团队评估供应商保护其组织抵御日益复杂的威胁的能力时，彻底、独立地测试是至关重要的资源。也许没有任何评估比每年的MITRE Engenuity ATT&CK评估更得到一致信任。

        这种评估对于测试供应商至关重要，因为根据网络安全供应商自己的性能和功能声明来对其准确评估几乎是不可能的。除了在MITRE Engenuity的环境中进行真实的评测，评估供应商参考检查和价值评估证明(POV)之外，MITRE Engenuity的结果还为全面评估网络安全供应商提供了额外的客观输入。

        让我们来看看2023年的结果。在这篇博客中，我们将分析MITRE Engenuity的方法，以测试安全供应商应对现实世界的威胁，提供我们对结果的解释。

在评估过程中，MITRE Engenuity如何对供应商进行测试?

        MITRE Engenuity ATT&CK评估由MITRE Engenuity主导，并根据著名高级持续性威胁(APT)组织采用的实际手法，对端点保护解决方案进行模拟攻击序列测试。2023年MITRE Engenuity ATT&CK企业评估通过模拟Turla的攻击序列测试了29个供应商解决方案，Turla是一个总部位于俄罗斯的威胁组织，已知感染了超过45个国家的受害者。

        2023年MITREEngenuity ATT&CK评估采Turla黑客组织采用的企业模拟攻击技术。Turla通常被称为FSB的Center 16小组的成员，以创新的隐秘入侵方法和漏洞利用后驻留而闻名。该组织与臭名昭著的“蛇”植入程序有关，美国政府认为这是世界上最复杂的网络间谍工具。在超过25年的时间里，Turla组织通过引入新技术不断发展，这些技术在MITRE网站上列出了一长串列表。

        除了“蛇”植入程序，一些与Turla相关的工具包括ComRAT、KopiLuwak、Kazuar和Car- bon。虽然Turla主要针对政府机构、大使馆和军事组织，但它也针对全球大部分地区的制药、零售、教育和高科技领域的私营企业。Turla被认为入侵了臭名昭著的伊朗黑客组织APT34，并天才般地劫持了卫星通信来窃取受害者的数据。

        一个重要的预告是，MITRE不对供应商的结果进行排名或评分。相反，原始测试数据与一些基本的在线比较工具一起发布。然后买家使用这些数据根据他们组织的独特优先级和需求来评估供应商。参与的供应商对结果的解释只是他们自己的解释。

那么，你如何解读这些结果呢?

        这是一个很好的问题——很多人现在都在问自己。MITRE Engenuity ATT&CK企业评估的结果并不是以我们许多人习惯理解的格式呈现的(例如魔力象限图)。

        独立研究人员经常宣称评估结果中的“赢家”，以减轻找出哪些供应商表现最好的认知负担。在这种情况下，确定“最佳”供应商是主观的。如果您不知道要寻找什么，如果您已经在尝试评估哪个安全供应商适合您的组织时感到受挫，那么这可能会让您感到很麻烦。

        有了这些免责声明，现在让我们回顾一下结果本身，比较和对比参与的供应商对Turla的表现。

MITRE Engenuity ATT&CK 结果摘要

        下表显示了Cynet对所有供应商在MITRE Engenuity ATT&CK评估结果中的分析和计算，根据最重要的因素：总体可见性、检测__准确性_和_总体表现。还有许多其他方法可以查看MITRE结果，但我们认为这些方法最能说明方案检测威胁的能力。

        _总体可见性_是在所有143个子步骤中检测到的攻击步骤的总数。Cynet将检测质量定义为攻击子步骤的百分比，这些子步骤包括“分析检测-指识别战术(为什么活动可能发生)或技术(为什么和技术如何发生)的检测”。

        此外，在供应商因遗漏威胁而更改配置之前，查看每个解决方案的执行情况非常重要。MITRE允许供应商重新配置他们的系统，以尝试检测他们错过的威胁或改进他们为检测提供的信息。在现实世界中，我们不可能因为检测缺失或检测不佳而重新配置系统，因此更现实的方法是在实现配置更改之前进行检测。

https://www.cynet.com/blog/2023-mitre-attck-evaluation-results

https://www.scmagazine.com/native/seeing-through-the-vendor-spin-interpreting-the-mitre-attck-evaluation-results

（完）