爱奇艺广告特征评估流程优化实践
01
背景
在搜广推系统中，特征质量是决定模型能力的关键因素。爱奇艺广告场景下，特征评估面临以下挑战：
-
人力资源瓶颈：整个流程基本需要算法工程师完成，评估门槛高，效率低且评估标准不统一。
-
流程复杂性：广告算法场景增多，每个场景下的特征评估流程有明显差别，流程变得越来越复杂。
为了更高效地构建并筛选出优质特征，爱奇艺广告算法团队与大数据团队合作，基于 Opal 机器学习平台对广告特征评估流程进行改进，并借助平台沉淀模型评估的方法论，使广告算法特征评估迭代效率提升 3 倍，评估周期从 5 天缩短到 1.5 天。
02
特征评估流程实践优化
特征评估流程通常有以下四个主要部分：
-
数据处理：包括数据清洗和转换、特征构造和选择。
-
样本生成：包括样本划分、合并和平衡。
-
模型评估：包括模型选择、模型训练和特征重要性评估。
结果汇总：对模型评估结果进行汇总和分析，最终决定是否上线。
历史评估流程如下：
旧流程缺点明显：
-
评估门槛高，需要熟悉特征生产、特征加工、模型代码等多个模块。
-
评估标准不统一，没有完整的 pipeline，评估准确性依赖个人经验。
针对旧流程问题，我们在 2022 年底开始将特征评估流程迁移至 Opal 机器学习平台，完成了整个流程的优化，大大提高了特征迭代的 ROI。优化后的流程如下图所示：
相比原流程，新流程中确定了完整的评估 pipeline，并且统一在 Opal 机器学习平台上操作。完整步骤如下图所示：
下文针对该流程，介绍一下流程关键步骤。
特征生产&特征质量前置评估
特征生产
1. Jupyter-Lab：notebook 编写脚本进行大数据处理和分析，脚本自动保存。
2. 特征和样本处理：应用图形化界面编写 SQL 和调用特征算子，实现特征预处理，样本清洗、处理和新特征拼接。
特征分析模块
类别特征 BIAS 初筛：关注特征类别下当前模型预估偏差，确认当前特征贡献信息增益。
模型离线评估
Opal 集成了标准化模型离线评估和指标采集展示功能，覆盖了不同场景的需求。
-
新增训练模版：参数化模板配置并启动爱奇艺自建分布式平台训练任务。
-
流程模板调试：选定流程中指定节点启动任务并验证，流程节点失败时可对指定节点进行重试。
-
指标收集展示：模型评估完成并发送结果至平台，平台依据模版进行展示。
特征管理与跟踪
-
在线模型特征采集：通过模型 Meta 信息收集模型使用特征
-
上线特征管理跟踪：特征查询、模型查询和特征样本例行化监控
03
总结与展望
目前，Opal 机器学习平台已经有效地降低特征评估的门槛和成本，使算法人员能够更加专注于模型中特征的迭代优化，实现了业务的降本增效。特征迭代效率的提升也带来了特征数量的不断增加，因此对特征进行有效地衡量显得越来越关键。除了主动的特征评估外，我们仍然需要 Opal 平台提供更高效的特征筛选办法。特征评估效率的增加必然带来特征迭代上线的需求增加，更好地优化特征上线流程（线上 A/B 测试、模型训练和模型更新）也会带来进一步的特征迭代提效，我们也希望与 Opal 平台在这些方面进行更多的合作和实践，共同探索更多降本增效的方案。
未来工作方向：
-
特征评价体系：除了评估单个模型中的特征表现，未来会致力于共同建设一个全面且高效的特征评估和评价平台，帮助业务筛选出表现最优的 Top 特征。
-
特征上线流程支持：Opal 平台应进一步对特征上线流程进行优化，提升特征验证、模型训练和更新的效率，为广告算法团队提供更加高效和经济的解决方案。
通过这些优化和改进，我们期待与 Opal 平台的共同发展，完成特征迭代相关方法和平台建设，进一步提高特征迭代效率，助力广告业务获得提升。
