九游老哥云
清静是一门语言的艺术|威胁视察剖析语言概述
2021-04-19
语言的实质源于规则 ，准确的规则是清静逻辑判别的标尺；语言的魅力在于撒播 ，有用的撒播是清静情报与手艺突破清静信息孤岛的要害路径�；厥鬃芙崆寰仓悄苡朐擞悄苁忠盏难萁� ，笔者愈发以为 ，网络清静是一门语言的艺术 ，需要深入解读与探讨 ，以通过语言模子的构建、语义的怀抱 ，来提升数据驱动要领在清静场景中的鲁棒性与顺应性。因此 ，《清静是一门语言的艺术》将分多个篇章 ，梳理清静这门语言艺术的手艺思索与实现 ，先容自动化与智能化手段怎样助力新的清静语言设计和应用。
本文为系列首篇 ，将浅谈对清静领域专用语言的思索 ，进而概述总结面向威胁狩猎的视察剖析语言（Threat Hunting Investigation and Analysis Language）手艺与计划。
一、 清静数据剖析手艺与领域专用语言
熟悉清静领域学术论文的朋侪应该都有体会 ，论证数据驱动的（Data driven）和智能驱动的（AI driven）要领相对古板要领的有用性 ，一样平常会把基于规则的（Rule based）要领拿出来比照一下。在数据过载的时代配景下 ，清静大数据给提取指纹特征、写检测规则这种古板纯手工的清静防护模式出了多道难题：规则的泛化能力、顺应性、笼罩率等指标怎样跟上数据、场景、手法数目的爆炸式增添。
此时 ，机械学习、深度学习、图算法等数据驱动的要领的优越性就体现出来了。数据中蕴含的纪律和模式 ，是可以通过数据挖掘的要领泛起出来的。流量特征、样本特征、编码特征、序列特征、关联特征、时序特征等等 ，这些要害的数字维度能够在没有专家加入的情形下 ，在限制条件下完成检测、溯源、评估等使命。这里的“限制条件”是一个要害的问题。诸多实验性模子与算法 ，在实战化的清静运营中难以有用施展作用。主要瓶颈体现在：
l 异构多源数据欠缺规范约束。数据收罗系统所网络的数据完整度 ，包括基础的字段完整性 ，信息流的描绘完整性 ，信息归属的完整性等等 ，难以有用的、规范化的留存。与此同时 ，数据剖析中的训练数据集往往经由多轮次的洗濯、过滤和标记。而现实安排情形下 ，理想的数据漫衍假设空间难以笼罩重大动态的网络情形与攻击技战术转变。
l 模子黑盒缺乏可诠释性。某些重大高容量的模子 ，端到端的给出的展望效果 ，无论是恶意的流量或样本 ，或是高危害的告警 ，都无法同时给出合理的佐证。这在运营环节中带来重大的剖析本钱。
l 统计数据匮乏语义内在。与缺乏可诠释性相关 ，统计驱动的机械学习要领习得的数据模式 ，不总是能够匹配清静履历与直觉 ，对不齐清静的关注焦点。举个例子 ，异常检测是清静智能手艺中的主要组成之一。然而 ，异知识别的维度可源于多种类型的数据统计维度 ，例如密度、距离、关联性等等。这些统计维度的离散点 ，需要在清静场景中给定一个对应的语义化“阈值”才华有潜在的清静寄义。
l 收罗数据隐私泄露隐忧。数据使用与数据隐私�；ぶ涞亩钥褂肫胶� ，始终是清静手艺升级的驱动力之一。随着清静防御网络的数据普遍性和深度的提升 ，被收罗端的数据所有者对收罗系统的抵触心理愈发明显。数据从明文到加密 ，甚至拒绝“出境” ，这些都限制了数据驱下手艺计划的落地。
上述枚举的多个手艺瓶颈 ，给数据挖掘要领的清静应用加入了不少限制。与之相对应的是 ，清静手艺的工业实现中 ，与攻击方武器库相对应的 ，种种类型的规则仍然是最名贵的情报战略资源；种种类检测防御系统的焦点单位 ，绝大部分照旧规则引擎 ，而不是某个基于机械学习的检测模子。那么 ，是否有一天 ，当模子的准确性足够高、泛化能力足够强 ，模子与算法将统一清静防御系统的天下呢？智能化手段与要领 ，应该在清静场景中施展怎样的作用呢？
为回覆上述问题 ，无妨设想和回首网络清静的实质。清静可以以为是一种状态 ，在这种状态下 ，人、系统、工业等现实或虚拟实体未受到威胁与损害。那么怎么界定与评价实体是否受到威胁和损害呢？笔者以为其中的要害在于“立法” ，也就是设定界线与规则 ，对越界、违规行为举行处分。这里的“法”不特指执法或者执法 ，而是强调界线与规则的主要性。“不以规则 ，不可成周遭” ，在网络清静的场景下明确使命界线尤为要害。而清静场景下执行使命的要害 ，则在于“依法”执行与“执法”透明。以上可统称为“依法”属性。清静行业的“依法”属性 ，决议了规则引擎的清静手艺底座焦点职位。从这个角度来看 ，数据驱动的模子的主要瓶颈 ，在于其对界线界说的模糊性。模糊的界线界说给统计类模子付与了凌驾规则的无邪性 ，但同时注定了其无法对任何事务剖析给出明确的责任划定。以是可以得出这样的质朴结论：数据驱动要领应当用于辅助清静“立法”与“执法” ，而不应该是“立法”与“执法”的主体。
图1 威胁检测领域的经典语言
回到本文的主题 ，所谓语言 ，正是规则的荟萃 ，是“法”的详细体现形式。一套面向特定场景的、自成系统的规则系统 ，可称为一种领域语言；而形貌或者界说规则系统的规则 ，可称为领域语言的语言 ，即元语�；氐酵缜寰擦煊� ，较量经典的规则系统 ，包括用于流量攻击检测的Snort规则 ，用于恶意文件检测的YARA规则 ，用于日志威胁检测的Sigma规则等等。这些规则系统都自成系统 ，形成领域专用的语言系统。而Snort、YARA、Sigma规则的誊写规范与规则 ，就是其对应的元语。
清静领域专用语言（Domain Specific Language For Security） ，在威胁检测的各个领域 ，都具有很强的统治职位。这种规则系统的完善 ，或称为语言系统的成熟 ，会充分验展语言的规范性、表达力 ，有用提升其自己的撒播性与影响力。近年来ATT&CK知识库的风行 ，正得益于威胁分类与形貌元语设计的完整性与表达力。
二、 威胁狩猎视察剖析语言概述
语言的设计源于科学的认知 ，也更依赖对事物明确的艺术。标准语言 ，类似通俗话 ，能够增进信息的交流与撒播 ，镌汰信息孤岛效应。在清静领域 ，除了上述提到的检测语言 ，威胁情报规范STIX ，恶意软件形貌语言MAEC ，威胁检测框架ATT&CK等等 ，都是具有普遍影响力的领域信息交流与形貌语言 ，虽然纷歧定称为标准 ，但其影响力被行业普遍认可。标准语言的乐成普及一方面依赖于工业手艺的成熟 ，另一方面需要强有力的行业向导者来推动。除了标准语言 ，定制语言也很主要 ，类似方言 ，能够提升局部信息的高效流转与决议实验。定制语言就是为了效率而生 ，一千个成熟厂商就可能有一千个定制的检测规则引擎系统。
我们已经看到 ，在威胁检测领域 ，即定位威胁的要领论上 ，已经有较为成熟的语言系统。但随着高级攻击技战术的演进与攻击面的拓展 ，威胁剖析已经不但限于初级的威胁定位。自动的威胁狩猎 ，对无邪的威胁定位、高效的上下文拓展、精准的路径溯源提出了更高的要求。古板流量、样本、情报、日志分立的“语言模子”与规则系统 ，已经难以顺应跨多源、多类型日志的威胁视察与剖析需求。
图2 泄露的FireEye攻击工具检测要领概述
如图1所示 ，为了应对攻击工具集泄露 ，FireEye给出了数百条检测规则 ，其中包括Snort、Yara、ClamAV、HXIOC等多种语言名堂[1]。只管相关规则都是各自领域的系统中的语言“标准” ，但在清静运营中心日渐成熟的今天 ，缺乏一种更无邪的、能够有用笼罩多种日志数据的标准语言 ，支持交互式的威胁视察与剖析 ，这无疑是手艺生长的痛点之一。别的 ，这些规则系统仍然普遍局限于基于IOC的特征指纹匹配预定位功效 ，无法捕获威胁事务的时序依赖、信息流依赖等重大关系特征。
虽然缺乏事实的公认要领与标准 ，可是面向自动威胁狩猎场景下的威胁视察与剖析 ，工业界与学术界团队仍然给出了不少“方言”版实验 ，以下通过表格概述几种前沿手艺计划。
表1 威胁视察剖析语言总结
如表1所示 ，我们主要从该语言模子针对的数据类型、支持的模式类型、实时性三个角度来起源标定各手艺计划主要的应用领域与方法。数据类型方面 ，行为、情形、情报、知识四种类型的数据可笼罩清静运营中心所接入的差别类型数据。在模式类型中 ，“单点”指的是以特征或指纹匹配为主的单个事务模式；“荟萃”体现多个事务的无序组合；“序列”体现有序的事务组合；“静态图”体现信息流或结构相关的事务组合；“时序图”体现有序并且保存信息关联的事务组合；“模子”体现基于机械学习等模子要领 ，在统计特征上可关联起来的事务组合。实时性方面 ，主要包括流式的剖析模式和批量的视察模式。
威胁视察剖析语言 ，焦点在于“表达力” ，即能否无邪的支持威胁狩猎历程中的一连验证历程。为此 ，数据类型笼罩越周全 ，支持的事务模式类型越富厚 ，语言的表达能力越强 ，越能够有用的降低视察历程中的跨数据开销和重大事务关联剖析开销。威胁视察剖析语言不限于表中总结的几种实现计划。如前文所述 ，目今针对威胁视察领域语言的设计 ，业界尚处于探索之中 ，是清静学术与工业研究中的主要课题之一。限于篇幅 ，本文简要总结在此 ，感兴趣的读者可在参考文献或资料中深入研究详细的手艺实现。
三、 总结
与语言的建模与剖析相关 ，清静知识库、知识图谱、语义剖析、可诠释智能、因果挖掘等等 ，这些手艺名词已经逐渐融入清静手艺生长的视野中。抛去追逐热门的部分 ，从语言设计与应用的角度审阅清静手艺的生长 ，能更清晰的审阅我们为什么要做与怎样做。
参考文献
[1] https://github.com/fireeye/red_team_tool_countermeasures
[2] https://github.com/endgameinc/eql
[3] Noel S, Harley E, Tam K H, et al.: CyGraph: graph-based analytics and visualization for cybersecurity, Handbook of Statistics: Elsevier, 2016: 117-167.
[4] Shu X, Araujo F, Schales D L, et al. Threat Intelligence Computing[C]. Proceedings of the 2018 ACM SIGSAC Conference on Computer and Communications Security, 2018: 1883-1898.
[5] https://github.com/SigmaHQ/sigma
[6] https://ci.apache.org/projects/flink/flink-docs-stable/dev/libs/cep.html
[7] Gao P, Shao F, Liu X, et al. Enabling Efficient Cyber Threat Hunting With Cyber Threat Intelligence[J]. arXiv preprint arXiv:2010.13637, 2020.
[8] Gao P, Xiao X, Li D, et al. {SAQL}: A stream-based query system for real-time abnormal system behavior detection[C]. 27th {USENIX} Security Symposium ({USENIX} Security 18), 2018: 639-656.
[9] Gao P, Xiao X, Li Z, et al. {AIQL}: Enabling efficient attack investigation from system monitoring data[C]. 2018 {USENIX} Annual Technical Conference ({USENIX}{ATC} 18), 2018: 113-126.
