UEBA实体画像技术设计和应用
一、什么是实体画像
实体画像是通过标签对主体（用户、设备、ip等主体均可）特点进行刻画的数据技术。标签具体生成方式通常是针对实体的静态信息，动态行为进行数据统计，数据挖掘。
当前实体画像已广泛的应用于广告，营销活动等互联网产品商业化数据应用中。此外实体画像在基础安全领域也发挥了重要的作用，例如UEBA，威胁情报产品都用到了实体画像技术。
在基础安全领域中，通过实体画像技术可以从多维度对检测对象进行描绘。这些描绘的成果将成为复杂安全检测，与复杂网络攻击调研的数据基础。
二、实体画像和基线技术的区别
基线技术特点是针对对象短期的，单维度的行为进行检测。其检测的形式有静态基线检测与动态基线检测，例如网络安全上服务器不设定密码，或者异地登陆等。
基线技术无法解决长时间、多维度，以及多实体的复杂检测场景。而实体画像技术则可以弥补这一缺陷。
实体画像技术，会基于主体的历史数据，动态的更新每个主体的标签。可以进行单主体多标签检测，以及多主体多标签检测。
我们将这两种技术特点的比较总结如下：
三、实体画像实现技术介绍
实现实体画像的流程一般分三个阶段：画像设计、画像生产、画像应用。
画像设计包含画像结构设计，标签生成逻辑设计，技术选型设计。通常此步骤完成时，即可输出一个明确的画像生产需求清单。
画像生产的技术框架一般如下：统一采集层负责画像需要用到的数据，数据存储层负责将采集后的日志分级存储，并进行清洗，画像生成需要提供全量、增量、结构变更功能。
画像应用方向一般有基于画像的指标统计（从顶层观测态势），群组划分（归并同类用户），异常检测（发现离群的用户）。
四、实体画像在UEBA中的应用
文章上面已经提到，实现实体画像的流程一般分三个阶段：画像设计、画像生产，画像应用。这里详细介绍后面两个部分，画像生产和画像应用在UEBA中的实现和应用。
针对画像生产部分，我们开发了一套可以对画像多个层次进行可插拔配置的系统，实现画像配置多个层次的可插拔，灵活生成任意画像中任意行为下任意的画像特征。
针对画像应用部分，我们采用基于ai引擎的检测框架，对原始数据和对应的画像数据进行定时调度和场景检测，复用ai引擎强大的机器学习和人工智能检测能力，以及大数据分布式快速计算能力，实现多种丰富的智能化的检测场景。
1、画像配置多个层次可插拔
UEBA当前的画像系统可以实现多方面的自定义配置，即无需修改任何代码，仅修改配置表就可完成画像类型的增减、画像描述行为的增减、画像特征字段的增减等配置，从三个层次实现画像的灵活配置，满足多种业务需求。
画像类型是指该画像是描述什么主体的，例如用户画像、设备画像等。画像描述行为是指某种主体的画像中可描述的行为有哪些，这些描述行为主要是通过目前已有的日志中的数据行为总结归纳出来的，例如登录行为、权限变更行为、访问内部系统行为、上传数据行为、下载数据行为等。画像特征字段是指某种主体的画像中的某种描述行为下有哪些特征字段，这是画像目前最细粒度的描述，例如常用时间、常用源设备、常用源城市、常访问资源、历史源设备、历史源地址等字段。
通过以上三种层次的画像配置，可以配置出任意类型画像中任意行为下任意的画像特征。例如画像类型配置了用户画像，用户画像下配置了登录行为，用户画像的登录行为下配置了常用时间、常用源设备、常用源城市、历史源设备、历史源地址等特征字段，那么就能生成用户画像下基于登录行为的一系列特征，这些特征描述可以用来进行后续的画像行为检测，可以用于产品展示。
2、采用ai引擎框架进行智能化分布式检测
腾讯UEBA复用了腾讯基础SOC自研的ai引擎智能检测框架，基于画像生成系统生成的画像数据进行画像多功能场景的检测。Ai引擎框架是采用大数据分布式技术开发的一套拥有强大机器学习和人工智能检测能力的机器学习算法检测平台，将定时调度、灵活参数配置、任意算法选择、分布式快速计算等多个功能集成为一体，为智能化检测提供了基础。
画像生成系统生成的画像数据和原始待检测数据共同作为ai引擎框架中画像检测部分的输入，通过在ai引擎画布流上配置特征处理模块、算法检测模块、策略处理模块等，实现特征、算法、策略的灵活搭配，其中每一个模块内部又是可多参数灵活配置的。
为了实现画像场景的检测，我们不仅可以复用原ai引擎中已有的机器学习检测算法，还开发了多个更加适用于画像场景的检测算法。目前基于ai引擎对画像进行检测的算法包括但不限于基于画像的指标统计（从顶层观测态势），群组划分（归并同类实体），异常检测（发现离群的实体）等方法。
其中画像的基础检测方法包括但不限于如下场景：非常用行为检测、首次行为检测等。
异常检测方法是基于原数据和对应画像数据拼接后的数据，针对数据的多维度特征中是否存在异常特征以及是否整体为异常数据进行检测的方法。Ai引擎检测框架上已实现了多种异常检测算法，例如iForest、oneclass_svm、maha_svd、LOF等。通过ai引擎画布流的配置，可以轻松实现多种特征的生成和组合、算法多个参数的配置和检测等。通过分析异常的检测结果，可以明确该条数据异常的原因以及异常的程度，帮助后续安全运营和告警做辅助判断。
群组划分是基于群组进行群组特征的总结分析，然后基于群组的特征检测当前数据的异常行为。这里对群组采用聚类、分类等机器学习算法进行划分，同时配合系统内部不同层次的标签划分生成不同的群组。对于不同群组的主体（用户、设备等），采用以上提到的画像基础检测方法、异常维度检测方法等对源数据进行检测。
群组划分本身采用的聚类和分类算法可以通过ai引擎框架进行配置检测，且可以快速复用并配置ai引擎检测框架上已实现的多种聚类、分类算法，对算法的检测效果也能实现一定程度上的可视化展示。基于群组划分后的结果再进行画像基础检测、异常维度检测等场景，同样可以在ai引擎框架上进行灵活快速地配置和检测。
5、腾讯实体画像技术的独特优势
腾讯云中实体画像通过了腾讯云内部实际场景验证。已在服务云上的海量用户。Ueba实体画像是腾讯云画像应用的缩影，继承了腾讯云实体画像的设计思路，检测方案。在可行性，稳定性，准确性上会优于其他同类功能。
同时由于画像设计的一脉相承，ueba实体画像可以与云画像效果相互印证，解决私有化下难以判别检测结果是否误报的困难。
智能化 自动化 一站式
（长按二维码快速扫描关注）
该账号主要围绕智能化技术如何帮助企业提升网络安全水平展开，内容涉及机器学习、大数据处理等智能化技术在安全领域的实践经验分享，业界领先的产品和前沿趋势的解读分析等。通过分享、交流，推动安全智能的落地、应用。欢迎关注~
