九游老哥云
RSA 立异沙盒盘货| ForAllSecure：融入DevSecOps的“下一代”模糊测试手艺
2020-02-20
2020年2月24日-28日，网络清静行业盛会RSA Conference将在旧金山拉开帷幕。今天九游老哥君将先容立异沙盒十强首创公司之一：ForAllSecure。
一、公司先容
ForAllSecure是由来自卡耐基梅隆大学的ForAllSecure清静研究团队于2012年建设的公司，事情所在包括宾夕法尼亚州匹兹堡、旧金山湾区和弗吉尼亚州水晶城。首创人David Brumley、Thanassis Avgerinos和Alex Rebert均来自卡耐基梅隆大学并拥有相关专业配景。公司在A轮融资中获得1500万美元，由New Enterprise Associates领投。其主打“下一代”模糊测试手艺，并基于此手艺实现模糊测试系统Mayhem，依附Mayhem的精彩体现以大幅领先优势在美国国防部先进项目研究局（DARPA）于2016年主理的网络超等挑战赛（CGC）中一举夺魁。ForAllSecure还在2017年被「麻省理工科技谈论」选入“全球最智慧的50家公司”榜单（位列第35名）。
公司提供Mayhem模糊测试解决计划，将自动化一连性清静测试融入DevOps流程，力争在早期发明误差、修复误差，以提高软件清静性。与古板模糊测试手艺相比，该“下一代”模糊测试手艺团结使用“符号执行”手艺和“导向型模糊测试”手艺，能够针对测试发明的清静误差自动化天生看法性验证（PoC）和补丁，在一定水平上阻止古板白盒测试的高误报和黑盒测试的盲目性，具有很高的立异性和价值。
二、配景先容
凭证Cybersecurity Ventures的应用清静报告显示，应用程序的攻击面正在以每年1110亿行代码的速率增添，另外，0day误差使用程序被宣布的速率已经从2015年的“每周一个”增添到2021年的“天天一个”。
与此同时，DevOps正在被越来越多的团队和组织接受和接纳。然而，绝大大都应用清静工具并不可跟上DevOps的脚步。例如，由于其居高不下的误报率，“静态代码剖析”工具大大限制了清静、开发和测试职员的生产力。
另一方面，企业级误差治理计划则是有限应对战略。例如，“软件组身剖析”工具只能检测那些已经被果真并分派了CVE编号的误差。
面临这些限制和问题，ForAllSecure提供“下一代模糊测试”清静计划Mayhem，兼具导向型模糊测试的可靠性和符号执行手艺的创立力，资助企业在软件开爆发命周期中更早地发明清静危害并快速消除。
三、产品先容
Mayhem是一个资助企业以机械级速率和规模测试软件的辅助型智能行为测试解决计划。它团结使用符号执行和导向型模糊测试手艺，通过监控目的程序的行为来动态天生测试用例。
官方并未直接给出Mayhem的架构组成。九游老哥君凭证官方果真资料整理出的大致架构如下：
其中：
Translator用于将二进制程序翻译为易于剖析的中心体现 ；
Offensive Tools用于寻找误差并构建PoC或ExP ；
Defensive Tools用于天生补�� ；
Controller用于统筹整个流程 ；
Mayhem的事情流程如下：
我们可以看到，上述流程正是DevOps的一部分：
1、用户向SCM（代码客栈）提交应用代码 ；
2、系统自动基于SCM最新代码构建应用 ；
3、系统自动将构建的应用提交给Mayhem举行测试，而Mayhem的测试又可分为三个相辅相成的逻辑� ？椋�
发送测试数据
监视目的行为
网络、分类并贮存效果
4、 用户与Mayhem交互，盘问应用的危害情形并举行下一步处置惩罚。
另外，Mayhem支持多种语言、平台和DevOps情形，能够知足差别用户的需求：
接下来，我们展示一个详细的应用案例。借助这个案例，我们能够真正触摸到Mayhem，对其事情流程有深条理的明确 ；另一方面，也能够在一定水平上体会到它的实力和价值所在。
最先测试
Mayhem提供了友好的用户交互界面。初始化完成后，正式进入测试阶段，可以看到测试正在举行：
审查基本测试效果
测试竣事后，可以审查测试效果，相识应用的懦弱点：
值得注重的是，Mayhem凭证CWE对懦弱点举行了分类：
审查详细测试效果
我们还可以审查详细测试用例的输入输出，从而准确定位问题（甚至可以看到反汇编后的代码）：
ForAllSecure强调Mayhem的优势之一是零误报。那么怎样做到零误报呢 ？从上面的测试效果我们可以略知一二。Mayhem自动构建的测试用例等效于研究职员手工验证误差时编写的PoC。一样平常来说，若是能够导致程序泛起崩� ；蚱渌斐＃ù肼呒て谥獾男形�，我们便以为PoC是有用的，同时以为误差保存。
四、产品特点
一连性深度剖析：随着目的程序知识的积累，Mayhem的剖析将逐渐深入，代码笼罩率将逐渐提升。
零误报：Mayhem报告的所有缺陷均是准确的（由于它会自动天生PoC去测试）。
自动化天生测试用例：基于团队在卡耐基梅隆大学的专利手艺，Mayhem能够使用目的反响在运行时自动化天生测试用例。
清静左移：在清静开发流程中，Mayhem将动态剖析、模糊测试及威胁建模等测试与验证办法左移，资助企业控制修复本钱。它能够直接插入到CI流水线中，将一连性测试作为DevOps事情流的一部分。
软件供应链治理：Mayhem能够对应用依赖的开源或第三方代码举行威胁评估，以镌汰软件供应链中保存的危害。
五、总结
在整个调研历程中，九游老哥君能够从各路媒体报道和ForAllSecure官方对Mayhem手艺原理的归纳综合性形貌中感受到其团队拥有的深挚手艺积淀。抛开态度纷歧的媒体，三个事实足够证实他们的雄厚实力：
1、 公司未立，手艺先行：作为一支来自卡耐基梅隆大学的科研团队，其手艺的降生时间比公司建设时间早许多年 ；
2、以绝对优势获得DARPA CGC决赛第一名：挑战赛荟萃了全球清静领域的顶尖团队，ForAllSecure从104支步队中脱颖而出进入七强杀入决赛、并获得冠军，这是硬实力的体现 ；
3、获得New Enterprise Associates领投的1500万美元融资：这是资源的评估和认可。
另一方面，ForAllSecure对目今清静测试手艺的痛点掌握得十分到位。清静从业者往往会有这样的感受：自动化白盒测试（如静态代码剖析等）具有不小的误报率 ；自动化黑盒测试（如误差扫描等）既有一定的误报率，同时也有自身的局限性——受限于误差知识库 ；人工渗透测试虽然效果显著，但自动化的缺失导致其无法融入DevOps流程 ；而古板模糊测试手艺的主要玩家通常是职业或半职业的误差猎人。
在此形势下，ForAllSecure给出了一个支持DevOps的企业级模糊测试计划，并在一定水平上证实晰该计划的有用性（DARPA CGC），这无疑是令人振奋的。
然而，我们也要提出问题：Mayhem是否真如ForAllSecure形貌的那么优异 ？他们是否在掌握住痛点的同时较好地解决了难点 ？
符号执行和模糊测试自己并不是新手艺，人们对两者的优势和缺陷也都早有研究。符号执行手艺更多地具有理论上的先进性，可是在应用到重大程序时往往会遇到路径爆炸等问题 ；模糊测试的效果则与输入集的数目和质量有着亲近的关系。
通过DARPA CGC，我们看到了Mayhem在误差检测和验证上的有用实力，可是我们也注重到，在角逐中Mayhem需要大宗的水来举行冷却（CGC决赛为七支步队配备了180吨水举行水冷）和大规模的算力、能源支持，这些都是前述手艺局限性在详细实现上的客观反应。有时间，产品和计划的优异并不完全由手艺上的优势决议。清静行业的特点决议了本钱与效果——也就是性价比往往才是最主要的。因此，Mayhem的本钱和市场定位也许是需要首创团队思量的问题，也是客户体贴的问题。
滔滔长江东逝水，浪花淘尽英雄。ForAllSecure真的能够推动DevSecOps生长，照旧仅仅昙花一现 ？Mayhem究竟是学术界的玩物，照旧真的能够成为业界一大杀器 ？这些都需要时间的磨练。然而，就本次立异沙盒竞赛而言，综合思量手艺实力与团队配景，九游老哥君以为ForAllSecure具有极强的竞争力，同时看好他们的后续生长。让我们拭目以待。
· 参考文献 ·
[1] Mayhem, the Machine That Finds Software Vulnerabilities, Then Patches Them
[2] MIT Technology Review Reveals 50 Smartest Companies List in Annual Business Issue
[3] ForAllSecure
[4] ForAllSecure: About us
[5] DARPA网络超等挑战赛情形及思索
[6] 符号执行手艺总结（A Brief Summary of Symbol Execution）- wcventure
注：第3节引用了来自VDA Labs的资料Using-Next-Generation-Fuzzing-Tools.pdf ；第4节参考了ForAllSecure官方资料FY19 DS Mayhem General v3.7.pdf。
