九游老哥云
AISecOps：从DARPA TC项目看终端攻防
2020-08-24
清静界线日益模糊 ，为应对高级一连性威胁 ，提升种种终端系统的“透明度”尤为要害——通过高效的数据收罗与剖析手艺 ，以识别、溯源、展望内外部攻击者的细粒度系统级行为及关联其上下文 。然而当我们实验用放大镜视察细粒度的系统行为时 ，数据质量、剖析手艺、性能开销、验证理论等多条理的问题接踵而至 。
美国国防高级研究妄想局（Defense Advanced Research Projects Agency, DARPA）运营了多个重量级的网络空间清静研究项目 ，召集了诸多美国顶级研究机构加入 ，可谓是集中实力办大事 。其中 ，透明盘算（Transparent Computing, TC）项目正是期望通过基于终端数据的收罗与剖析增强终端上系统细粒度行为的可视能力 ，以实现企业级网络空间APT检测、取证等要害使命 。站在巨人的肩膀上 ，从该项目的一系列攻防对抗模拟实战中 ，能够一窥美国顶级终端攻防能力的交锋 。左右互搏 ，攻防相长 ，是AISecOps智能清静运营手艺迭代的必由之路 。本文将归纳综合DAPRA TC项目的基本情形 ，剖析总结其红蓝对抗演练的手艺能力特点 。期望能够为读者带来全新的视角与思索 。
一、DARPA TC项目概述
No.1项目目的
现代操作系统的功效逻辑越来越重大 ，盘算系统的低透明度成为细腻化纪录、剖析、展望系统级别行为的主要限制 ，而关闭的系统黑盒为具有高隐藏性、高对抗性的APT攻击者提供了绝佳的潜在场合 。为了翻开系统行为黑盒 ，实现在较低开销下提供系统各层级软件�？樾形杉� ，DAPRA组织了Transparent Computing项目[1] 。该项目的目的手艺及系统需实现：
收罗、生涯系统组件（输入、软件�？椤⒗痰龋┑乃菰词�；
动态追踪网路系统组件的交互与因果依赖关系；
整合数据依赖 ，测绘端到端的系统行为；
从取证和实时检测的角度 ，实现对系统行为的推理 。
基于以上能力的实现 ，TC项目旨在完成细粒度系统级行为的关联 ，实现在大规模行为中识别异常与恶意意图 ，发明潜在的APT或其他高级威胁 ，并提供完整的溯源剖析与相关损失评估 。同时 ，TC项目能够实现网络推理能力与企业规模网络监控和管控系统的整合 ，以增强要害节点的清静战略有用性 。
No.2项目手艺领域划分
从2016年10月到2019年5月 ，DARPA TC项目共组织了5次较大规模的红蓝对抗征战演习（Engagement） 。在每次对抗中 ，TC总共划分为5个手艺域（Technical Areas, TAs） 。划分是：
TA1-Tagging and Tracking ，认真研发低开销的系统行为收罗手艺与系统 ，以支持后续的剖析使命 ，收罗系统需支持Linux、Windows、BSD、Android等多类型操作系统；
TA2-Detection and Policy Enforcement ，认真提供知足实时或取证需求的攻击的检测、关联、溯源手艺与系统；
TA3-Architecture ，认真整体的系统架构设计 ，为TA1/TA2团队提供协作的基础设施 ，包括网络、存储等环节；
TA4-Scenario Development ，认真统筹设计攻击场景 ，以笼罩更多的APT类型；
TA5.1-Adversarial Challenge Team (ACT) ，认真APT攻击行为模拟 。值得注重的是 ，每个手艺分组内 ，有多个差别的团队加入 。例如TA1 ，包括CADETS（Causal Adaptive Distributed and Efficient Tracing System）、ClearScope（针对安卓移动终端）、THEIA（Tagging and Tracking of Multi-Level Host Events for Transparent Computing and Information Assurance）等系统实现 。TA2则包括来自UIUC、Stony Brook等高校 ，以及IBM、NEC等企业的清静剖析团队 �？梢运� ，TC项目为一场长周期、多轮次、多高水平团队加入的大规模攻防演练提供了统一的平台 。
二、DARPA TC功守道
No.1攻——细腻富厚的APT场景模拟
未知攻焉知防 ，每一轮长达几周的攻防对抗中 ，为建设逼真的网络攻防情形 ，在一连的配景良性数据中 ，由TA4设计、TA5.1模拟了长周期、多种类、跨多平台的APT攻击行为 。以Engagement 3为例 ，主要包括两类攻击者 ，Nation State攻击者主要目的是靶标企业中的知识产权和小我私家数据；Common Threat攻击者主要目的是偷取PII（Personally Identifiable Information）数据以获取经济价值 。以下纪录了Engagement 3中的部分攻击类型的相关标签[2] ，这部分数据包括了3类操作系统 ，每种操作舷笼罩三类攻击场景 ，整个时间跨度凌驾20天 。这些攻击场景 ，能够笼罩典范APT攻击者的7步攻击链 ，并包括富厚的详细攻击要领 ，例如反射加载（Reflective Loading）、webshell、无文件攻击等 。
更详细的 ，下表枚举了Engagement 3/4中几个典范的攻击场景[4]：
在大规模的事务数据汇总中 ，攻击数据的规模占比可能低于0.001% ，因此这些模拟天生的攻击行为检测 ，具有足够的隐藏性和低频性 。
别的 ，TA5.1实现了包括Carbanak、Uroburos、DustySky、OceanLotus、njRAT、HawkEye、DeputyDog等多种恶意软件在攻防平台中的投放 。DARPA TC的攻击模拟展现了加入团队在APT技战术的深挚积累 。整体上来看 ，攻方的技战术设计有如下特点 ，笼罩攻击模拟的广度与深度：
笼罩场景富厚（广度） 。TA5.1团队模拟的攻击在APT场景、恶意软件类型、操作系统平台类型、攻击面类型、攻击阶段、攻击周期等多个维度上 ，具有横纵向的周全笼罩 。
攻击还原度高（深度） �；谙喙赝睬楸癆PT行为研究 ，攻击场景的设计和执行团队能够有用还原攻击技战术能力 。同时在良性行为模拟方面 ，也充分思量了如页面会见及下载、系统使命、软件编译及装置等 ，从而能较为准确还原富厚的企业营业场景 。在数据规模比例上 ，也为剖析团队制造了“大海捞针”的APT检测难题 。
No.2守——翻开行为“黑箱”
TA1~3手艺领域团队认真从系统构建、数据收罗、数据剖析的防守环节 。TC项目的重点在于检测、识别和溯源 ，因此并未看到执行实时阻断等响应环节实现 。在数据收罗上 ，相关团队使用包括Auditd、Dtrace、ETW等差别平台的系统行为收罗机制 ，实现了各自的收罗、标记系统 。其中 ，最焦点的数据就是差别类型终端的溯源数据（Provenance） ，有用的溯源数据挖掘要领 ，能够支持威胁狩猎的多种使命场景 。Provenance能够忠实纪录终端上实体的行为逻辑依赖关系 ，自然形成溯源数据图（Provenance Graph ，简称溯源图） 。
基于大规模溯源数据图识别APT攻击行为 ，面临溯源依赖图爆炸、威胁大海捞针、性能拓展性差等多方面的手艺挑战 。为突破这些手艺难题 ，在溯源图剖析要领上 ，TA2团队主要分为两大门户 ，划分是启发式战略派和数据剖析派 。启发式战略派主要通过数据、行为标签化及启发式撒播规则 ，实现要害信息流的建模 ，典范手艺要领包括HOLMES、MORSE等；数据剖析派 ，则强调数据挖掘要领 ，通过统计与机械学习 ，从异常入手甄别真实威胁与误报 ，典范手艺要领包括NODOZE、HERCULE等 。总体来说 ，种种剖析要领能够针对TC中的差别攻击场景实现较高的检出、还原准确率 ，但尚未看到任何一种要领能够放之四海皆准 ，一统天下 �？梢栽ぜ氖� ，多维度的检测剖析引擎的融合 ，并买通人-机协同的闭环反响 ，是在大规模终端数据涌入剖析场景下的必由之路 。终端侧的清静运营与剖析 ，需要兼顾处置惩罚效率、数据隐私、剖析准确性等多维度因素 ，才华有用促成终端剖析能力的落地 。
三、总结
DARPA Transparent Computing项目搭建的红蓝对抗演练舞台 ，吸引了美国终端攻防领域的顶级团队加入 ，也促成了终端威胁剖析领域学术研究与工业手艺的快速演进 。从组织架构 ，到攻击方技战术实验 ，再到防守方多维收罗、剖析计划 ，有许多值得借鉴的实现 。终端侧的网络攻防 ，已成为高级威胁对抗领域的主战场 。高效收罗与细腻的剖析齐飞 ，来翻开终端系统的盘算黑盒 ，方能因敌转变取胜 。
· 参考文献 ·
[1]https://www.darpa.mil/program/transparent-computing
[2]Milajerdi S M, Gjomemo R, Eshete B, et al. Holmes: real-time apt detection through correlation of suspicious information flows[C]. 2019 IEEE Symposium on Security and Privacy (SP), 2019: 1137-1152.
[3]Hossain M N, Sheikhi S, Sekar R. Combating Dependence Explosion in Forensic Analysis Using Alternative Tag Propagation Semantics[J].
[4]Pei K, Gu Z, Saltaformaggio B, et al. Hercule: Attack story reconstruction via community discovery on correlated log graph[C]. Proceedings of the 32Nd Annual Conference on Computer Security Applications, 2016: 583-595.
[5]Hassan W U, Guo S, Li D, et al. NoDoze: Combatting Threat Alert Fatigue with Automated Provenance Triage[C]. NDSS, 2019.
