（网络空间测绘技术的实践与思考 系列之二）
网络空间测绘通过系统全面的网络测量，绘制网络空间全息全景地图，建立网络空间的真实映像，形成网络空间可知、可控、可管的基础支撑，保障国家网络安全。网络空间测绘涉及网络空间各个层面，需要建设大规模测绘基础设施，形成庞大和精准的网络空间信息库。在这个过程中，主动测绘的应用是网络空间测绘系统的突出特点，通过主动探测，特征识别和数据关联等流程建立了目前广泛且成熟的测绘方法。之前《网络空间测绘技术的实践与思考》简单介绍了网络空间测绘技术应用方向和一些建议，下文将介绍主动测绘中的部分特征分析技术，并对其应用场景提出思考。
应用主动测绘观察世界
某种意义上来说，网络空间测绘是人类“观察-映射-描绘-建设”世界的范式在Meta时代（元宇宙）应用途径之一。它通过对超大规模空间目标的探测与映射，帮助我们准确全面的认识和理解这个空间，进而能够开启对数字世界的刻画和改造。
图1 360 Quake网络空间测绘系统部分截图
网络空间测绘领域的一些关键技术思路来源广泛，不仅仅从传统网络安全攻防领域总结而来。例如我们可以从一些传统产业的技术领域中如何主动观测物理空间的方法中得到借鉴和思考，下面以能源行业的油气地震勘探领域技术应用举例，来说明其与网络空间测绘技术的类比关系。
首先，Quake是360网络空间测绘系统的英文名称，也是一款老游戏的名称。Quake的本意就是震动或地震（earthquake）的简写。
其次，地震的应用在能源产业领域早已普及，地震勘探是地球物理勘探中最重要、解决油气勘探问题最有效的一种方法。地震勘探是利用人工的方法引起地壳振动（如炸药爆炸、可控震源振动），再用精密仪器按一定的观测方式记录爆炸后地面上各接收点的振动信息，利用对原始记录信息经一系列加工处理后得到的成果资料推断地下地质构造的技术。该方法的主要特点是：
1、利用专门仪器并按特定方式观测岩层间的波阻抗差异，进而研究地下地质问题；
2、通过人工方法激发地震波，研究地震波在地层屮传播的规律与特点，查明地下的地质构造，为寻找油气田或其他勘探目标服务；
3、地震勘探的投资回报率很高，几乎所有的石油公司都依赖地震勘探资料来确定勘探和开发井位；
4、三维地震勘探的成果能提供丰富的地质细节，极大地促进了油藏工程的发展。
在初步了解了地震勘探的应用思路之后，我们看到网络空间测绘技术应用与地震勘探的应用思想惊人的一致，都是利用人为构造的主动性探测方式，对空间进行全方位响应收集，再结合其他广泛的关联大数据对勘探结果进行深度分析，最终探明未知资源，进而绘制全息全景地图。
图2 油气地震勘探与网络空间主动测绘的类比
如同三维地震勘探成果能提供丰富的地质细节，极大的促进油藏工程的发展一样，按照图示的类比来思考，超大规模数据就是能源，对数据探测就是开采，对数据的挖掘就是炼化。
类似地震勘探的机制，也决定了网络空间测绘技术相比其他网络安全探测采集技术的几个特点：
综合性：网络空间测绘在包含被动测绘的基础上，突出了主动测绘；二者结合，既体现了数据采集的众筹性质也体现了报备性质，满足有目标和无目标情况下的综合应用场景需求。
动态性：网络空间测绘本身既能够积累较长时期的历史数据，主动探测采集能力也能够实现实时收集数据的特点。
多维性：网络空间测绘能够充分叠加地理、网络、资产、人物、语义、社会关系的相关信息，实现对网络空间数据的升维。
综上而言，网络空间测绘的特点决定了测绘应用能够极大丰富安全数据的种类和细节，从而在新一代安全体系中提供各类安全能力的支撑。
因此，网络空间测绘在网络安全领域的应用不仅是做资产梳理和攻击暴露面排查，还包括对漏洞数据、威胁情报和相关的业务数据全面认识和分析，从而为整体的安全体系赋能，这也代表了未来应用网络空间测绘的丰富场景。
主动测绘特征技术分析及应用场景
深度协议特征
1948年香农在《通信的数学理论》中写道:“通信的基本问题是在一点精确地或者近似的复现在另一个点所选取的信息,这些信息往往都是有意义的。”
主动测绘就是构造请求，获得响应中的信息意义，从某种意义上说这点与主动构造的通讯、攻击、扫描等都没有区别。工程技术上的难点在于构造的请求越少越好，获取的意义越多越好。
因此，分布式测绘的请求不会像普通的通讯请求那么标准规范，应当尽量精简，但是这样就导致了响应少且不完整。我们又需要从响应中更准确真实的获得其信息意义。这种左右限制需要我们实现更好的深度协议特征分析和提取，并决定了对测绘特征分析识别的要求在于：
(一) 对主动探测的协议请求数据定制的仿真度高；
(二) 对协议响应数据的多维度特征提取的信息熵高；
(三) 对协议响应特征数据关联分析的数据维度高；
以上述三点，决定了深度协议特征技术能力的评价。
传统的网络空间测绘资产特征（或者称之为资产识别指纹）大多从TCP/协议栈或Web响应中提取单一静态特征，单一特征不仅请求的仿真度低，信息熵低，而且是基于规则的特征，识别深度很浅，其识别的往往是一类厂商/品牌的产品，缺乏个体信息。
深度协议特征技术基于对协议和网络应用的深刻理解，从构建仿真请求入手，收集更多高信息熵的响应，并可从Banner，特定文件/Hash，Response关键字，持续握手Hash，证书特征等提取到更多特征，从而把产品识别进步到个体特征识别，例如僵尸网络，攻击组织，关键设施等等，进一步体现了“指纹”所代表的个体性。
l 技术举例
以Http协议为例，通常单一静态特征往往只是把Header或Body里内容简单的用正则匹配，缺乏对其深度分析和归类。从深度协议的角度看banner中间的关键字段，DOM树相关信息，网页截图，页面关键文字，标签中的变量，link链接，响应状态码，附属文件的信息，特殊的处理方式等等，都可以作为特征的分析方向。这个过程中，我们引入了AI技术，包括Kmeans等聚类算法，可以大量节省人工工作量，达到一定程度上的智能协议特征分析。
图3 应用AI技术的http特征分析
再以RDP协议举例，远程桌面协议(remote desktop protocol, RDP)是一种构建于Windows系列操作系统的终端服务网络通信协议。它采用了C/S的架构，共分为两个部分：运行在远程设备上的客户端和运行在服务器上的终端服务器。作为Windows的标准组件，它可让用户可靠的使用远程计算机上的应用程序、文件和网络资源。由于RDP被广泛应用，以及其对计算机的远程控制能力，RDP成为安全研究者较为关注的一种协议。对RDP的深度识别也是深度协议分析的一种能力验证。
在建立加密的安全会话之后，RDP的下一步是进行网络层认证NLA。服务器会利用通常的认证方法（如ntmlssp, Kerberos）验证客户端是否拥有该用户凭据。在RDP协议深度识别中，需要关注的是服务端发送给客户端的NTML type2消息，里面包含了操作系统版本，主机名等信息。
此外，当打开远程管理客户端，然后连续按5下shift键。系统会直接调用粘置窗口的程序sethc.exe，很多黑客会用自己的后门文件来替换此文件。通过机器学习模拟5次点击和对应截图操作，提取图像特征，图像特征中有很多要素可以进一步提取，例如其中的账号文字可通过OCR识别提取，场景和人脸可以利用相应的机器学习算法，这些深度特征都可以帮助我们主动探测存在这类后门的开放RDP协议的服务属性，从而描绘出其背后的个体信息。
对安全应用场景赋能的价值
对仿真类安全系统的赋能价值
深度协议特征分析技术能够为靶场、蜜罐、蜜网等仿真类安全系统提供更多维度的仿真特征，首先可以模拟测绘特征所有支持的协议，并且可模拟设备和应用服务；然后可以能够模拟一个完整的网络，并且网络上每一个IP都能成一个完整的设备；最后，这样的测绘特征可以让这个模拟网络从更多的特征维度更加仿真，大大增加了拟真的维度。相信在不远的未来，通过多维度深度特征研究，在算力充足的前提下，甚至可以模拟一个城市，一个国家的整体网络空间和资源，构建全网仿真，实现完整沙盘。
对流量分析系统的赋能价值
当前的流量分析系统安全场景中，绝大多数是基于特征或模型匹配的监测，比较缺少对通信端点构建目标画像的分析。深度协议特征技术能够显著的提升这一方面的能力，体现在测绘应用的深度协议特征同样可以在流量分析中有效使用，第一可以利用协议识别和应用识别对流量进行筛选，这样大大降低了有效的分析数据量，减轻流量分析的计算资源消耗；第二可以通过深度协议特征对流量中的双向通讯端点进行画像分析，从而提升流量分析建模的数据维度；第三可以通过深度协议特征对流量中的通信行为和内容进行意义提取，从而帮助分析和映射流量中真实的网络空间行为。
由此可以看到，从深度协议特征分析的视角看，主动式的测绘与被动式的流量检测是一体两面、技术统一的，未来，主动与被动结合的安全体系将大大加强流量检测的效率和数据视角，从而为用户带来更加及时准确的预警响应。
对安全服务体系的赋能价值
深度协议特征分析能够对安全服务体系产生深刻的影响。现有的安全服务体系依赖于传统的攻防仿真的行为模型而构建，无论从渗透测试，风险评估还是到实网攻防对抗的仿真或培训，都极大的依赖人力资源和个体技能，缺乏自动化辅助和标准化评估。
与人工安服对比，深度协议特征在测绘方面的应用是一种自动化生产。首先，它能够对攻防模型下的传统安全服务形态极大的提升生产效率和生产力，例如以goby、Xray、Burp为代表的自动化攻击测试平台越来越多的与测绘系统直接对接，大范围的提供测绘目标，能够大大减轻人工工作量，从而降低人工技术门槛，实现测试规模化，并把珍贵人力资源从普遍性对抗节省出来，准确的投入到高价值对抗领域。其次，深度协议特征面向全网测绘的特点，能够为培训服务或仿真对抗服务提供更多实网的资产信息和漏洞定位数据，从而帮助它们提升其服务效果和价值。
由此我们可以预测，未来与测绘系统联动的攻击测试工具/平台的应用将越来越广泛，自动化计算将大大减少人员的工作量，普遍性安全服务也更多将依赖于测绘的数据能力而非个人技能，少部分高技能技术人员将更多的投入到高价值对抗领域。
对漏洞分析体系的赋能价值
深度协议特征分析在测绘方面的应用也将对传统的漏洞挖掘和运营产生巨大的变革。使用测绘系统对一个新暴露的漏洞在全网普查是这类系统典型的传统应用方式，这一方案的基本思路是基于漏洞，设计调度，发送利用程序，分析响应，从而找到真实影响的活跃资产。然而我们升级一个思考维度，可以看到默认前提是漏洞已知而资产未知。
然而实际的网络空间中，资产是更容易找到并分析的，漏洞往往是未知的。我们能不能倒转之前的前提，在已知大范围资产的，并掌握深度协议特征的前提下，来寻找未知的漏洞？实践证明这条路径是可行的，利用大数据的智能深度协议特征分析，不断的用全网资产来验证，是具有发现漏洞的可行性的。
要说明的是，这种应用不同于传统的漏洞扫描，因为传统漏洞扫描系统仍然是基于已知漏洞库的，而更近似于漏洞研究人员的fuzzing思路在测绘场景下的大数据自动化计算赋能。基于上述分析，我们可以预测，未来将可以利用测绘系统的技术，未来可以大规模自动化分析资产漏洞特征，从而改进现有漏洞研究的流程并提升效率。在高级别漏洞仍然需要高水平研究人员的基础上，部分实现真实网络空间中大规模自动化的资产未知漏洞发现，并减少此类业务场景对人力资源的依赖。
主动性数据关联
技术简述
网络空间测绘系统不仅仅是一个大数据分析系统，它的分布式节点和调度也决定了其本身也是一个大规模数据采集系统。那么在做数据关联分析的时候，广泛应用其主动采集数据的能力，能够方便实现数据采集+数据分析的迭代模型，通过持续测绘补充数据分析维度，从而提升数据关联的效率。相比传统的数据关联分析体系中，采集与分析割裂的现状，测绘系统有助实现采集分析全场景融合的业务流程。
l 技术举例
在很多场景中，往往需要在已有信息线索的基础上，进行进一步的分析和拓线，而主动性数据关联分析就给这类需求一个很好的方法。
在很多国外的安全文章中，都会给出某个具体IP或产品名用于佐证。安全研究人员经常会对这些文章中提到线索进行追溯、分析。以近期某国外工控平台为例
IP被作者隐藏了，那么如何通过信息线索进行挖掘找到真正的系统呢？通过观察，可以从图4中提取出3点要素作为线索：
图4 某开源数据线索
ASN为 16116；
同时开放80端口、502端口；
协议分别是http协议和modbus协议。
基于上述信息，在 "主机数据"中 使用Quake搜索语法如下：ports:"80,502" AND services:"http,modbus" AND asn: "16116"可以得到IP地址，搜索这些IP在Quake服务数据中的502端口，可以看到modbus协议解析内容。同时发现了同网段另一个新的供水设施工业控制系统。
另外，基于上述相关线索，进行扩展发现，该系统对应的指纹如下：
response:"" AND response:"<iframe src="\"index.xhtml\""" and="" response:"content="\"text/html;" charset="utf-8\"/">"
对分布情况进行统计如下：
可以看出该系统主要是欧洲各国使用较多，国内不存在该系统。
图5 系统中统计截图
访问后可以看出该工控系统涉及电力、能源、水利等等领域。
对安全应用场景赋能的价值
对企业安全管理体系的赋能价值
企业安全管理体系与安全技术体系脱节是长期现象，分析其原因如下：
一方面，企业管理工作是普遍以责权、资源和工作内容为核心的过程控制，现有企业安全技术体系往往依赖于P2DR流程的构建，并不能有支撑企业管理的要求。
另一方面，安全技术方向的数据视角较窄，往往束缚了技术体系支撑的管理范围，导致现有的技术产品往往围绕的检测-响应-处置单一流程，缺乏对企业风险管理的全面支撑。
测绘带来的主动性数据关联技术，可以帮助用户在整个安全管理框架下的多个安全管理流程任务中，持续性的收集数据，分析数据，从而建立统一视图，并对安全策略产生全周期的反馈，能够帮助用户建立覆盖更广泛流程的全视角安全管理体系。
对城市级安全运营体系的赋能价值
城市级安全运营体系一个比较普遍的问题在于宏观运营与微观运营缺乏衔接，从而导致宏观以态势观察为主，微观以单点事件为主，一旦单点事件暴增，就对运营体系提出了很大的效率问题。
测绘系统的主动性数据关联分析技术，能够为城市级安全运营体系带来若干切片效果的“面”一层的视角，例如，资产攻击面，漏洞面，国产化应用面，关键基础设施面，某行业安全面等等。
将单点事件的安全运营放大为城市某一个切面的安全运营，为微观到宏观的聚类递进和态势感知提供量化支撑。
主动性情报挖掘
技术简述
现在很多威胁情报厂商都纷纷利用网络空间测绘系统这一工具，为威胁情报的生产加工赋能。主动式的采集数据能够在威胁情报的分析和挖掘全生命周期中持续提供新的数据补充，这种技术就是主动性威胁情报挖掘。
传统的威胁情报的分析和挖掘，往往依赖于流量数据和终端数据，因此威胁情报分析的能力很大程度上要依赖于终端打点数据上报的覆盖量和质量，或者流量覆盖度及流量分析的能力。但这些场景往往存在一些限制性因素，终端打点量要取决于项目数量和实施的效果，还不一定能获得高质量的打点数据；流量分析受限于硬件等物理条件，处理大流量数据的成本目前还是过高，而且人工分析的运营成本也高居不下。这些问题很大程度上是由从被保护系统或网络着手的被动性获取数据的方式决定的，造成了目前威胁情报数据容易分析获取的价值不高，高价值的威胁情报其原料数据获取难的现状。
网络空间测绘为威胁情报的分析和挖掘提供了主动性的方法，那就是在被保护系统和网络的视角之外，主动探寻威胁源或威胁性服务的方式。
l 技术举例
可以通过网络空间测绘系统来查找Cobalt Strike Beacon Staging Server服务，从而实现威胁情报分析和挖掘的持续迭代。
Beacon是Cobalt Strike运行在目标主机上的payload，Beacon在隐蔽信道上提供服务，用于长期控制受感染主机。是包括APT组织在内的攻击者经常使用的基础攻击平台。
图6 Beacon工作原理
Beacon Staging Server的作用是防止Payload过大或者适应不同的攻击场景，可以分阶段进行payload投递。通过投递一个被称为stager的小巧的payload，然后去Beacon staging server下载体积较大更复杂的stage，并且访问stage的URL通过checksum8进行校验。
主动测绘手段可以发现暴露在公网上的存储着Beacon配置和payload的stage服务器。我们也对Beacon的配置也进行了深度解析，这一点也使用了深度协议特征分析技术。
对安全应用场景赋能的价值
对威胁情报生产运营体系的赋能价值
测绘系统对威胁情报生产运营体系的赋能，主要体现在大规模的自动化威胁情报生产，利用主动测绘广泛获取IOC目标资产已经是威胁情报的重要落地方式之一，最典型的例子就是各类漏洞普查，或者僵尸网络的影响范围等等，在此基础上，通过对威胁情报IOC目标资产的分析和聚类，就可以自动化的情报金字塔上层的关联指标，达到底层情报信息升级为高层情报信息的效果。
图7 威胁情报金字塔
对威胁情报消费体系的赋能价值
威胁情报的消费除了通常的检测、响应和处置之外，追踪溯源和情报画像是难度较大的业务场景，一个重要的问题就在于对外部威胁源的信息获取难度较大。主动性测绘为此提供了一个外部数据的获取来源，能够利用测绘系统构建持续获取威胁源和建模分析威胁源特征的迭代循环，继而与已有威胁情报相关联，有助于对威胁的追踪溯源、测绘数据的多维度特点，能够帮助威胁情报画像实现更多的数据维度关联，从而对威胁情报消费体系提供全面赋能。
基于多会话特征的测绘分析
技术简述
面向时空维度的业务场景，测绘系统可以定制特殊的请求数据，通过对多个请求数据的定制组合，或者是不同时间的请求和响应的定制建模，形成特定的协议或设备的探测，来进行发现和识别。因此，首先可以利用多个时间探测同一目标数据来分析目标变化过程和实时状态，其次，还可以通过多次探测的变化性特征提取进一步分析其个体性。
在这个方法中，改变了传统测绘的静态思路，即通常只是测绘到一个状态，通过时空建模思路把状态进行分级提取，从状态特征转化为过程信息特征建模，并利用过程特征建模探测提取，再回溯还原为状态数据，从而发现特定的协议或者资产。
l 技术举例
TLS协议加密传输的特性使其在流量中很难进行深入的分析，那么根据TLS协议客户端请求参数的不同，经过定制修改，可以通过发送多个请求包获取其对应的特殊响应数据，从而构造成特征模型，这就是构建JARM特征指纹主动性探测的原理。
JARM通过主动向TLS服务器发送10个TLS Hello数据包并对Server Hello中的特定字段进行分析，以特定方式对10个TLS服务器响应进行哈希处理，最终生成JARM特征指纹。
JARM中的10个TLS客户端Hello数据包经过特殊设计，目的就是提取TLS服务器中的唯一响应。例如：
JARM以不同的顺序发送不同的TLS版本，密码和扩展；
TLS Clint将密码从最弱到最强排序，TLS Server将选择哪种密码？
......
总之JARM与在进行流量分析威胁时常用的JA3、JA3/S不同：JA3、JA3/S主要基于流量、JARM则是完全主动的扫描并生成特征指纹。
对安全应用场景赋能的价值
对安全态势感知系统的赋能价值
当前大多数交付的安全态势感知系统，主要是以流量和终端探针作为数据获取渠道，从采集方式上来说，这些被动式的探针采集有一定的局限性，表现在时间维度上，采集数据往往覆盖攻击过程（例如洛克希德马丁七步攻击链或MITRE ATT&CK框架）的事中，但缺少事前和事后的数据来源，一些威胁或攻击事件不能只能在进行时被监测，而不能有效感知事件前或事件后的风险。基于历史数据和实时性探测的能力，多会话的测绘数据技术能够很好的补充这些短板，从而使安全态势感知系统可实现覆盖重点目标或事件的全周期监测，及时及时掌握攻击行为的过程，进而实现基于态势感知的安全预测或提前防御。
对安全能力定量评估体系的赋能价值
安全能力的定量评估一直有很多技术上的难点，首先就是安全措施作用的资产价值不明，测绘系统虽然不能独立解决对资产价值评估的问题，但通过持续性多会话的测绘数据分析，可以为安全能力的资产价值、风险变化、威胁影响评估等方面提供量化数据。这种应用场景不但有助于监管机构开展合规自报之外的定量评估工作，而且有助于网络安全能力外部审计，网络安全保险，网络安全投资评估等网络安全金融类工作的开展。
总结
数字化转型带来的结果必然使数字化网络和资源成为企业、机构运营发展的核心，数字化安全也必然有相应的深层次变化。从合规导向到能力导向、从被动防御到主动防御，从刚性架构到柔性架构，从战术视角到战略视角……网络空间测绘不仅仅为安全体系从高层面绘制一张多维的战略地图，也能够从底层为漏洞、情报、管理、攻防、规划等传统安全防护领域带来内外改变。
利用主动测绘的方式向目标发送各类数据包，根据不同的返回进而发掘、分析、提取目标特征，这就是主动性测绘技术的典型应用思路。除了深度协议特征分析、主动性数据关联分析、主动性威胁情报挖掘、动态测绘分析之外，网络空间测绘还可以进一步创新基线感知，突变感知，关系拓线，基于图谱拓线，动态同源性，标签同源性，图谱聚类感知等技术，并结合相关联的安全大数据进一步拓展应用场景。绝不仅仅只限于这些方法自身，未来更需要的是根据应用场景设计不同的技术组合。通过对主动测绘数据各个维度的统计、分析信息，能够提供新的安全建设思路。
这种基于主动测绘的技术应用，可落实在丰富的业务需求场景中，进而为传统安全防护提供一系列全新赋能价值。在宏观上看，借助测绘技术采集的网络空间真实数据及其分析，将补充或更新传统网络安全体系，也将参与构建新一代安全架构基础模型，助力网络安全从理想范式走向现实客观认识。
“
添加管理员微信号：quake_360
备注 您的账号 邀请加入技术交流群
