YouTube推荐算法原理

摘要

近日,在谷歌刊登的一篇论文中,YouTube工程师详细地分析了YouTube推荐算法的内部工作原理。该论文在上 […]

近日,在谷歌刊登的一篇论文中,YouTube工程师详细地分析了YouTube推荐算法的内部工作原理。该论文在上周于波士顿举行的第十次ACM大会上进行了展示。

YouTube推荐算法以Google Brain为基础,后者最近以TensorFlow的名称开源。借助TensorFlow,开发人员可以使用分布式训练试验不同的深度神经网络结构。该系统包含两个神经网络。第一个生成候选集。它以用户的观看历史作为输入,使用协同过滤算法在数以百计的视频中进行选择。开发和最终部署到生产环境有一个重要的区别,谷歌使用离线指标衡量算法性能,但最终的决定来自对性能最好的算法进行在线A/B测试。

候选集生成使用用户观看视频的隐式反馈来训练模型。与隐式反馈相比,对于一个视频,类似支持或不支持这样的显式反馈一般很少。对于那些不受欢迎的长尾内容而言,这个问题更为严重。对于新上传的视频,为了加快模型训练速度,每个训练示例的年龄会作为一个特征传入。发现和展示新内容的另一个关键方面是使用所有用户观看过的YouTube视频(甚至是合作网站的)来训练算法。这样,协同过滤算法可以立刻识别出热门视频。最后,除了实际的观看外,通过增加更多的特征,如搜索深度和视频年龄,YouTube改善了离线holdout结果精度。

第二个神经网络用于对这几百个视频进行排序。这个问题比生成候选集简单许多,因为视频的数量较少,而且,对于每个视频及其和用户的关系,有更多的信息可用。该系统使用逻辑回归计算每个视频的得分,然后不断地使用A/B测试进行改进。这里使用的指标是预期观看时长,因为预期点击数会助长“点击诱饵(clickbait)”。为了基于观看时长而不是点击率进行训练,该系统使用了逻辑回归的一个变种,以观看时长作为正相互作用权重,而负相互作用采用单位权。这之所以可行,部分原因是,“正面印象(positive impressions)”分量比总数小。

YouTube的推荐系统是业内最为复杂、使用最为频繁的系统之一。这篇论文只提供了一个肤浅的介绍,但即便如此,它也在深度学习系统设计方面提供了一些有用的见解。

查看英文原文How YouTube's Recommendation Algorithm Works

avatar

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: