APP下载

看懂MITRE ATT&CK资安产品评测结果,先了解6大侦测类别含义

消息来源:baojiabao.com 作者: 发布时间:2024-03-29

报价宝综合消息看懂MITRE ATT&CK资安产品评测结果,先了解6大侦测类别含义

过去,要了解防毒软件的能力,就是用恶意程式来比侦测率,但若要了解端点防护产品,对于攻击入侵手法的侦测能力,则是一直没有很好的评估作法。

随着MITRE ATT&CK框架的兴起,由于汇整了现实骇客组织的入侵技术,并建立了共通语言,成为企业与资安产业都受益的工具,而MITRE近年更利用ATT&CK框架,发起一项评估计划,透过模拟骇客实际攻击过程,来考验资安产品。

因此,与Gartner及Forrester等研究机构的产品评比相比,ATT&CK评测是以更技术性的角度,来解析产品技术能力。

目前这项ATT&CK评估计划,MITRE已进行两轮评测,首轮在2018年进行,初期有7家资安业者参与,我们在2019年上半开始关注其发展,后续发现又有5家业者加入评测,到了2019年下半,第二轮评估计划推出,参与业者增至21家。

2020年4月,MITRE公布第二轮评测结果,让各界对于21家业者的端点资安产品,在其侦测能力上有更具体的认识。

先从两大层面理解评测内容

不过,要了解ATT&CK评测结果之前,对于这次评测的一些背景资讯要有一定的认识,也就是要了解游戏规则,才能知道游戏结果的真正意义。我们简单分成两个层面来看,一是攻击设想的对象,另一是侦测类别的定义。

以攻击设想对象而言,简单来说,ATT&CK框架已经汇整出200多种攻击技术,目前每轮的评测,都是根据一个骇客组织所使用的入侵手法,来模拟真实攻击活动,因此并非一次针对全部手法测试。例如,首轮攻击设想对象,是中国骇客组织APT3,第二轮则是以俄罗斯骇客组织APT29为对手。

因此,每轮评测使用的攻击手法会有差异。举例来说,在第二轮模拟的APT29攻击,该组织很少用恶意程式,大多是无档案攻击,透过PowerShell入侵,考验的侦测能力就不同。

评测定义的6大侦测类别,可代表不同资讯描述深度

另一个重点,就是要了解评测所定义的侦测类别。例如,虽然是制定6种主要侦测类别(Detection Categories),但两轮的内容有很大变动,而辅助的侦测形容标签(Modifier),也从3种扩增至7种。简单来说,在侦测类型画分更细的情况下,将有助于产品侦测能力的解析,这也显示MITRE会持续修正他们的评测计划。

特别的是,这些侦测类型在评测结果上的呈现,MITRE不会将结果量化成分数,来比较高下,只聚焦于展示产品侦测能力,也就是更精准呈现这些侦测成功是如何发生,将原始的结果资料公布,而不是像过往如防毒软件AV-Test的评测,会有主观性的评分方式。

基本上,关于第二轮评估计划的侦测类型,主要的侦测类别分为 None(无侦测)、Telemetry(遥测),以及MSSP(人工分析),还有General(一般)、Tactic(战术)与Technique(技法)。

由于这些内容看起来实在复杂,因此,我们询问参加这轮评估计划的奥义智慧,请他们导读,看懂ATT&CK评测结果所需要知道的侦测类型意义。

根据该公司创办人邱铭彰的说明,这些侦测类别其实可以画分为两大类,除了None是没有成功侦测到入侵手法,其中MSSP与Telemetry可视为专家服务分析,General、Tactic与Technique属自动化产品分析。

而就成功侦测的资讯描述深度而言,Telemetry属于资讯精确度最低的 侦测类型,包括像是产品记录到的Log资讯等;General则是可以自动侦测到恶意的行为,但还不够具体;Tactic不只侦测到恶意行为,还能进一步侦测到攻击策略;Technique是资讯精确度最高的侦测类型,可以更进一步侦测到并指出明确攻击的手法,可说是最好侦测能力展现。

至于MSSP,等于是考验产品服务背后,厂商所具备的服务能量与技术能力,是否同样能够发现到攻击过程。

值得注意的是,要确实理解侦测能力,不能只看侦测类别,MITRE还定义了辅助用的形容标签,包括7大类,分别是Alert(警告通知)、Correlated(关连)、Delayed(延迟)、Host Interrogation(主机调查)、Residual Artifact(残存证据)、Configuration Change(组态变更)与Innovative(创新)。而这些标签的重要性,在一些状况下,也不弱于既定的6大侦测类别。

邱铭彰指出,在这些侦测类别的辅助形容标签中,最重要的就是Alert一项,也是大家最容易搞混的地方,他认为,如果用Notified来说明,大家会比较容易理解,也就是指系统有发出警告通知使用者。

其他方面,例如,Correlated是指能与攻击者所做的其他事关联,Delayed则说明了侦测结果是经过人工分析,因此是延迟而非即时的资讯,即便评测时,厂商要求更动设定后所得的侦测结果,MITRE也会标注。这样的作法,确实让侦测能力的展现可以更细腻。

画分6大侦测类别与7个侦测形容子类别
在第二回合ATT&CK评估计划中,MITRE将侦测能力做出更细致且具体的画分,图中红色图示属于有效即时侦测类别。

用户可借由横向比较工具,检视企业在意的攻击手法

接下来,我们继续探讨第二轮ATT&CK评测的结果。基本上,这轮ATT&CK评估测试在模拟APT29的攻击过程中,共分成20大步骤,并细分为140个攻击流程。在此当中,由于第19大步骤因争议而取消,实际评测结果是134个攻击流程。

换言之,在评测结果中,针对这1百多个攻击流程,都会呈现资安业者产品的侦测能力。那么,我们我们该如何看待整体评测结果?

企业必须了解的是,MITRE在这项计划不会提供主观的评论,没有帮侦测结果打分数,只是单纯展现各资安产品面对一连串攻击流程的侦测能力与程度,并提供评测当下的产品界面截图。

因此,单纯从MITRE ATT&CK网站上发布的评测结果来看,使用者可以看到的是,以各厂商角度来检视对于134个攻击流程的侦测能力,并用图表形式显现厂商获得的侦测类型数量。

特别的是,MITRE为了帮助使用者更容易浏览这些资料,今年,他们新提供了一项Technique Comparison Tool,简单来说,它就是一个横向比较的工具。对于使用者而言,帮助很大,因为这让使用者检视评测结果时,能以过滤的方式,针对企业所在意的个别的攻击行为,来一一比较各家厂商的侦测能力与程度。

例如,针对某项攻击技术手法,厂商是否能够侦测得到,侦测到的结果又是到什么程度,譬如说,侦测结果是即时还是非即时提供,侦测结果是有原始资料,还是能够自动侦测到恶意行为,又或是还能指出攻击策略,或是更进一步明确指出攻击手法,还是透过业者的MSSP服务,也能分析得到结果。此外,侦测到是否会发出通知提醒用户,能否与其他攻击手法做到关连等。

无论如何,这样透明的结果呈现,好处是,可以更精准呈现这些侦测成功是如何发生,让所有厂商产品的侦测能力都完整展现,一方面MITRE是要促使各家厂商能持续进步,一方面是要让企业能够了解,何种产品可能适合自己。

但是,也因为没有一个标准的评分方式,因此我们可以看到,各家参与厂商最常见的作法,就是针对MITRE公布的侦测结果,将侦测类别加以统计与排名,这的确是一种衡量方式,突显各家在不同层面的强项。但还要注意的是,从评测结果其实可看出,在每项攻击手法中,厂商得到的成功侦测数量可能不只一个,因此,也有厂商的解读,是会依据不重复攻击手法来计算侦测结果。

当然,对于不同侦测能力的展现,还是有其个别的意义存在,毕竟,各家资安防御的切入点都不尽相同,因此设计重点本就各自有擅长之处,但至少,这种模拟真实骇客攻击情境的方式,给予一个尽可能公平的基础。

每轮评估计划都将持续进化

最后要说明的是,对于企业而言,要看懂这次的评测结果,除了要了解ATT&CK架构与评测内容,另一方面,其实也要了解本身的需求与重点,如此一来,才能让评测的结果应用到企业的实际情况。

同时,使用者还要认知的是,MITRE目前定义的侦测类别后续可能还会调整,测试的内容与范围也可能扩大。相较于第一轮评测的侦测类别定义,其实,第二轮的侦测类别定义已大有进步,尽管可能还是有不完美之处需要调整。

现在,MITRE也已发布第三轮评估计划,设想的攻击对手将是Carbanak与FIN7,两者均是专门攻击金融业的骇客组织,但在评估内容方面,目前可能取消MSSP的侦测类别,主要可能是因为评估难有衡量的准则,另外,也传出可能增加防护能力的评测项目。这意谓著,MITRE未来不仅考验产品面对实际骇客攻击时的侦测能力,同时还要有防护能力。此外,MITRE评测的端点环境,之前多以Windows平台为主,未来是否也将扩增至其他操作系统平台,甚至是网络层面,同样值得关注,将让这项资安产品评测更扩大。

 

可针对重视的攻击手法,横向比较评测结果

对于ATT&CK评估计划的侦测结果,企业除了可从各家业者的角度,检视所有攻击流程的侦测能力表现,MITRE也提供便于横向比较的Technique Comparison Tool,让企业可针对在意的个别的攻击行为,来比较各家的侦测能力。

在Technique Comparison Tool界面上,最左侧区域①是140项攻击手法,使用可以选择想要比较项目,②是可以选择比较的厂商,③是呈现出评测的侦测结果。另外,最右侧区域④则是侦测相关说明,这里同时附上了评测过程中,系统有侦测到恶意行为时的系统截图的连结,让外界能够更具体了解侦测当下的情况。

值得注意的是,侦测类别结果③可能是外界最不容易搞懂的部分。因为,MITRE除了定义6大侦测类别(Detection Categories),同时也设计了7个重要的辅助形容(Modifiers)的标签。

因此,对于每项攻击流程,MITRE所给出的侦测结果,其实都会有侦测类别与辅助形容标签,并不只是单纯的侦测类别。同时,也还有每个成功侦测都有系统截图供用户检视。

 

不只认识侦测类别,也要看懂形容标签的含义

为了帮助大家理解ATT&CK评估计划,在侦测结果上的呈现,奥义智慧创办人邱铭彰设计了一个矩阵,来说明辅助形容标签的定位。

举例来说,在此定义的Alert,就是系统会通知IT人员要注意,不过这样的标签不会单独出现,会是依附在侦测类型之下,而有Alert结果出现的地方,只有在General、Tactic与Technique,这也说明了为何这三个类别才属于有效即时侦测,而MSSP与Telemetry,就一定不会有Alert出现。基本上,在测试项目若同时获得Technique与Alert的结果,可视为最好的表现。但是,相对而言,评测结果若获得这三个侦测类别,业者的系统其实不一定会发出警告,因此有其他标签来说明,但这是较不常出现的状况。

再举另外一例,像是MSSP的侦测类别,就只会搭配Delayed这一种标签出现,不过Delayed则是会搭配多个侦测类别出现,说明这是经过进一步分析,根据较晚才能获得的资料,才做到成功侦测。

 

如何从评测结果挑选符合自己的资安产品?

在第二轮ATT&CK评估计划结果公布后,由于呈现出134项攻击流程的侦测结果,加上侦测类别的定义也都相当细腻,因此,要从整体角度来看评测结果,有那些外界观点值得重视呢?

基本上,针对各项侦测结果的统计加总,就是最常见的方式。举例来说,像是成功侦测的数量上,哪家业者获得最多的Technique、最多Alert、最多的Telemetry,又或是最多的Technique+Tactic+General,还可以从各项19大攻击步骤,或是134项攻击流程,来呈现产品在侦测率、覆盖率的能力表现。而这些也就是多数参与厂商会强调的部分,因为可以突显自家业者的优势,以及在广泛或特定项目的侦测能力。

特别的是,我们看到有业者反向思考,从侦测表现差的角度,建议用户最好不要选择。例如,卡巴斯基在官方部落格上发文指出,以评测19大步骤来看,若厂商在许多步骤都没有获得任何General、Tactic、Technique与MSSP的话,代表在众多攻击步骤层面,产品完全没有提供较有效侦测。

因为有半数以上的厂商,最多只有一大步骤,是没有获得上述4种侦测类别,但这次评测有两家业者表现较不理想,例如Malwarebytes与ReaQta,他们共有9大步骤,完全没有获得上述这4个侦测类别。

从使用者需求角度着手,并注意评测上还不足以展现的

尽管多数资讯都是从评测结果统计资讯着手,是企业参考的资讯之一,我们这次也询问参与评测的台湾资安业者,是否有其他专家见解,能够帮助用户解读。

例如,奥义智慧推荐的是专精美国国防领域的资料分析科学家Jonathan Ticknor,他从使用者需求面来看待评测结果。在Jonathan Ticknor的个人部落格上,他对于新一轮的ATT&CK评估计划结果,提出他自己的分数量化标准。最特别的地方是,他将使用者分成三种类型,包括有自建SOC但营运还不成熟的公司,SOC营运较成熟的公司,以及考虑购买MSSP服务类型的公司。也就是说,他会依据使用者需求来看待评测结果,毕竟各企业环境大不相同,对于所需的产品考量上也就有别。

因此,他将不同的侦测结果的类型与辅助形容描述,画分出4分、2分、1分、0分,以及0.75分、0.5分与0.25分,再计算出总分。不仅如此,他对于三种类型的需求,也还各自定义出不同的评分方式。

在其他专家见解上,趋势科技推荐了一位资深分析师,是来自全球市调研究机构Forrester的Josh Zelonis。他其实很早就关注这项评测,并对第一轮评测结果自定一套评分标准,对于第二轮评测结果,他在Forrester官方部落格发表的文章,则是探讨用户在看评测结果时,可能存在的盲点,主要关于警报疲劳层面的问题,他从警告的效率与警告的质量,给出计算与定义,提供评测结果之外所需注意的面向,也很值得用户去思考。

对于如何看待ATT&CK评估计划,了解企业本身的需求也很重要。例如,一位在美国国防单位工作的专家Jonathan Ticknor,他将使用者需求分成三种类型,分别是不成熟的SOC、成熟的SOC与与依赖MSSP的企业,并且各自建立出一套评分标准。

对于ATT&CK评测结果,有专家给出评测之外的不同观察,例如,市调研究机构Forrester的资深分析师Josh Zelonis,他从警告质量的角度来提醒使用者,因为这是评测结果所不易看出的面向。

2020-05-25 21:49:00

相关文章