AI算法特别是深度学习近年发展迅猛，应用范围大幅提高，为各领域提供了智能解决方案。在2019腾讯广告算法大赛的总决赛现场，腾讯广告高级应用研究员石瑞超为大家带来题为《广告场景下的视觉算法应用》的演讲，着重介绍视觉算法在腾讯广告中的应用。
视觉算法应用于广告创意的三个阶段包括广告创建、广告审核及广告播放。腾讯广告深度优化用户体验，提升了广告预估的效率，带来了广告系统的优化和革新。
广告创建，辅助创意产出
广告创建分为图片创建和视频广告创建。石瑞超提到图片创意生成过程面临的两个效果问题：商品抠图的边缘化处理和模板的更新扩充；此外他还介绍了视觉算法的解决方案。
针对商品抠图，腾讯广告对比行业常用方法，经过实践选择了边缘处理效果较好的GCN算法进行优化，并对边缘做加权loss，提升边缘平滑性，修改产品图，提升用户的视觉体验。
在获得良好抠图效果的基础上，腾讯广告运用AI生成丰富的模板素材。这一过程以产品主色调的提取为核心，基础思路为：检索并修改背景，做深度美感过滤模型提升产品视觉效果，继而通过修改配色获得多重类型模板，达到拓宽模板素材库的效果。
其中，配色修改通过预估每个像素的主色调获得配色后的最终效果，是模板生成的关键。在这一实践中，腾讯广告首先采用了业界常用的Conv-Deconv+L2 Loss算法，并根据实际情况改进网络结构和损失函数，在经过重渲染控制像素值颜色的一致性，最终实际可用率可达到91%，获得良好效果。
随着近年来各平台视频量快速增长，视频创意生成面临视频广告库存不足的现状。如何帮助广告主快速生成视频广告成为视频创意的主要命题。石瑞超以电商广告为切入点，向大家介绍视觉算法全自动智能生成视频创意的过程。
首先抓取商品基础信息，并基于行业模板库生成对应故事板（囊括图片、文案、配乐等要素），故事板经过渲染生成视频，同时应用算法获得封面图，最终上线一条完整的视频广告。视频广告生成的全流程节省广告主大量人工，同时可获得不俗的效果，成为腾讯广告视觉算法应用的一个优秀案例。
广告审核，对质量实现更强把控
广告创意生成后，便进入广告审核阶段。随着广告体量的不断增长、审核规则越发繁多和复杂，依靠传统的人工审核已经无法满足当前需求。首先，审核人员需要快速且准确地对所有违规点进行识别；其次，针对同样的违规问题，审核人员需要给予广告主一致的反馈意见。为解决这一问题，腾讯广告引入智能审核项目，通过算法能力，在人工审核环节之前对广告创意进行各种检测，从而辅助人工高质量地完成审核。
演讲中，石瑞超以明星人脸抄袭和游戏抄袭为案例向大众介绍了腾讯广告在智能审核上面的一些成功实践。基于庞大数据库，腾讯广告运用Asoftmax Loss算法抓取特征，高效进行明星人脸抄袭的识别工作。运用识别图像关键区域的算法，通过关键区域与待识别素材的匹配程度判断抄袭审核结果。
然而，智能审核项目的能力提升也面临着成本高昂和效率提升瓶颈的难题。因此，腾讯广告引用AutoML引擎为研究方向，致力于借助AutoML引擎的调优规则和搜索策略，提升智能审核效率。
广告播放，基于用户视角的体验优化
广告播放的关键问题主要聚焦于两个方面，一个是如何提升点击率和转化率；另一个是如何提升用户的视觉体验。石瑞超主要介绍了腾讯广告的双塔模型：抓取人群历史的素材点击特征向量，以广告的基础特征和用户群体特征为维度搭建双塔模型，高效预估点击率，提升广告投放的预估效果。“我们做了这种尝试，会发现AUC有比较明显的提升，大概是2%，线上效果的消耗能达到3%—4%左右。”
在向目标人群推荐广告的过程中，如果仅以点击率和转化率为推荐逻辑，用户很容易看到相似素材。针对这一问题，腾讯广告使用预训练好的CNN模型，提取卷积层特征，进行降维，得到无监督的152位向量。同时加入相似广告素材的训练数据进行finetune，提升广告数据的拟合度，使召回率获得明显提升，从而一定程度避免重复广告素材的出现，优化用户的视觉体验。
视觉算法极大优化了广告系统的工作方法，革新算法思路，也引入了新的研究方向。腾讯广告致力于研究视觉算法的应用和广告系统的不断优化，石瑞超在演讲最后表达了腾讯广告广纳贤士，邀请更多AI领域的优秀人才加入，共同探索AI在广告领域更深层次的应用和落地的希望。