论文部分内容阅读
近年来，随着社交网络媒体的出现，互联网上的信息量呈指数级增长,为了解决信息过载问题，隐藏中社交网络媒体应用背后的推荐系统已经成为人们生活中不可或缺的工具。推荐是每个人的生活中经常经历的一项行为，不管是朋友推荐你读一本新书，还是推荐你一项锻炼计划，都可能为你提供了一些不错的选择，朋友的推荐兴许可以帮助你快速做出更好的选择。这些推荐往往是基于用户的喜好或者朋友之间相同的兴趣而产生的。推荐系统正是基于上述原理工作的。推荐系统试图利用用户和物品的数据来预测用户需要的信息，提高用户体验，提升用户对平台的忠诚度或粘性。
纵观整个世界，互联网用户数量已经达到了几十亿之多，互联网上内容数量相对用户数量规模更大,对更先进、更精准的搜索引擎的需求也在不断增加。在日常生活中，在很多决策场景中，我们经常会碰到可选的内容不足、内容不适应用户需求或兴趣的问题。为此，我们经常会寻求或依赖别人的推荐。这些推荐可以是来自朋友或同事的建议，也可能是推荐信、餐厅评论和旅游指南，服务于特定场景下的决策需求。
在数字化时代，推荐系统实现了同样的功能。“推荐人系统”、"推荐系统"、“推荐引擎”和“推荐代理”都是交替使用的相似术语，用来描述向用户推荐物品的系统。当代的网站和移动应用往往包含了海量的信息，用户逐渐被淹没在信息海洋中。由于供用户选择的项目数量非常多，内容分发平台无法对每一个项目进行审核，这就使得寻找感兴趣的项目成为一个挑战，推荐系统就应运而生了。对具体用户推荐用户可能需要的内容已经成为社交媒体的典型功能范式。现在的互联网平台已经不再要不要推荐系统的问题，而是如何提高推荐系统的精准性问题。通过向用户推荐项目，让用户更容易探索新的需要的信息，减少了信息过载的问题。推荐系统的推荐内容范围很广，从新闻、书籍、视频，到工作、旅游等更复杂的项目，或者像我们所说的短视频，推荐系统都可以推荐。
目前，短视频流媒体由于其快速的网络速度和经济的录制设备，已经成为社交媒体中一个具有吸引力的新兴设施。人们通过类似TikTok、Instagram等社交媒体平台，在几秒钟内就能欣赏到短视频，或发布我们日常生活中的片段。我们可以在手机屏幕上随意观看海量的由消费者产生的内容。但与此同时，过量的数据也可能导致用户体验不够友好。各种知名的社交媒体平台都证明了向用户推荐相关信息的功效。推荐系统通过将用户的兴趣与资源项目进行匹配，抓住用户的注意力。因此，为了更详细地解释消费者的图片和产品属性，利用深度学习模型从辅助事实中提取的多版本特征对提高预测性能有相当大的作用。
目前，推荐系统是网络广告市场上正在崛起的重要的选择辅助工具。推荐系统对复杂的信息进行有条不紊地分析和筛选，帮助客户找到称心的商品，减少网站和移动应用中的信息过载问题。同样的，它还可以通过在发布者和用户之间建立增值关系，通过对用户需求的有效满足，提高用户的忠诚度或粘性。随着基于短视频的社交媒体应用的市场化程度成倍增加，短视频应用已经成为大众日常生活的越来越不可缺的一部分，每天都会产生大量的短视频，同时这些短视频也被大量的用户所观看。在过去的几年里，社交媒体的普及和手机等录制设备的便捷性，使得抖音这样的短视频应用在全球范围内得到了广泛地普及。由于短视频APP在全球范围内受到了用户的好评，普通用户使用短视频平台的平均时间越来越长。对短视频的个性化推荐已经成为一种必要但又具有挑战的需求。推荐功能目的在于主动协助用户观看到可能与自己的喜好相匹配的视频，而不是通过用户的手动搜索。这对于提高消费者的忠诚度、方便新上传的内容在任何社交媒体应用中的传播都是不可或缺的。然而，可扩展性和推荐质量是推荐算法需要面临的两个首要问题。
首先，很多传统的诸如k-近邻这样的推荐算法无法处理目前应用场景中频繁出现的大规模数据集。因此，推荐算法的可扩展性和推荐质量问题是最重要的问题。其次，推荐精度低的推荐算法会削弱用户对应用的满意度。当今，在短视频社交媒体领域，最大的平台之一是中国的TikTok，即大家非常熟悉的抖音。依托于该平台，大量的用户每分钟内都会产生数十万条短视频，上传到系统和分享给其他用户。为了让用户在每次打开抖音的时候，都能看到喜欢看的短视频，并参与其中。推荐系统不能仅仅依靠传统的推荐算法，系统其必须掌握用户的偏好，包括用户的行为以及视频相关的信息，包括视频主题、编辑质量、背景音乐、作者信息等方面的内容。
本研究中，我们主要研究针对短视频应用的推荐方法进行研究。对于企业的人工智能系统来说，如何更好地了解视频内容，并根据用户的喜好进行推荐，一直是企业人工智能系统的重要的目标。随着信息时代的到来，如何利用由用户的行为信息、项目信息等多模态数据，在视频推荐系统中发挥了核心作用。
本文研究旨在训练一种预测模型，对用户行为进行预测，进而根据用户的过往历史记录推荐出更适合用户的信息。预测问题是一个难题，对用户行为的准确预测，具有很高的商业价值和研究价值。在预测研究方面，传统研究都是以特征工程提取和浅层学习模型为主。在真实的网络广告系统中效果不够令人满意，预测精度有待提高。通过对研究现状的分析和探索，本项目的预测研究的难点主要包括：数据规模大、用户随机性行为、用户兴趣的广泛性和高维度特征稀疏处理。
对数据的巨大规模如何处理的问题即是推荐问题中的研究热点，也是广告点击预测的挑战之一。本研究拟采用现实世界中的个人历史行为数据来训练和测试预测和推荐系统。该数据来自于Biendata竞赛平台的抖音公开数据集，由数万个抖音应用中的随机用户和1亿个不同视频组成。整个原始数据中包含了用户的匿名行为信息和视频详细内容信息。庞大的数据量使得算法实现具有很大的挑战。较大的数据集需要更多的训练时间。这就意味着进行超参数训练的成本很高。
在短视频平台中，用户对出现在眼前的短视频，可能会看完整个视频,也可能只看一会儿后因为不感兴趣或不喜欢就直接跳到下一个视频或退出系统。本研究的目标是给定一个视频和一个具体的用户，预测用户完整地看整个视频的概率。为此本研究利用视频和用户间交互行为信息对消费者的偏好进行建模，本文提出了一个通用的视频快速混合推荐模型。在短视频理解领域，特征工程的首要任务是如何刻画顾客的偏好。一般情况下，用户自身的行为序列和时间有关各种属性可以用来刻画出用户的偏好。同样，通过针对多模态信息进行特征设计和完善，可以提高模型学习的泛化和拟合能力，选择理想的特征表示方式同样也是特征更容易被用户接受的重要因素。
本研究从已知的大规模数据库中提取关键特征，并利用这些关键特征来预测用户的偏好，服务于推荐算法。为了分析用户行为，本文从数据集中提取了多模态的视频信息，包括视觉特征、文字特征和音频特征，另外还提取了用户的交互行为信息，如点击、喜欢、观察等。根据这些信息提取特征，本研究将整体特征划分为基本特征、行为特征、人口特征、扩展特征、面部特征、时间特征、视频嵌入特征、音频嵌入特征。进一步地，本研究开发了两个基于神经网络的模型和一个基于梯度提升的决策树模型。考虑到集成学习在众多的应用场景中很有效果，可以降低模型的方差。最后，本文使用集成学习方法将三个基线模型融合在一起得到一个有效的预测模型。
我们的实验结果包括两部分，一是本文算法训练的模型的实验结果，二是融合模型获得的最终分数。我们使用AUC指标作为我们的评估指标。我们的结果清楚地表明，当我们使用混合模型时，AUC有所改善。
纵观整个世界，互联网用户数量已经达到了几十亿之多，互联网上内容数量相对用户数量规模更大,对更先进、更精准的搜索引擎的需求也在不断增加。在日常生活中，在很多决策场景中，我们经常会碰到可选的内容不足、内容不适应用户需求或兴趣的问题。为此，我们经常会寻求或依赖别人的推荐。这些推荐可以是来自朋友或同事的建议，也可能是推荐信、餐厅评论和旅游指南，服务于特定场景下的决策需求。
在数字化时代，推荐系统实现了同样的功能。“推荐人系统”、"推荐系统"、“推荐引擎”和“推荐代理”都是交替使用的相似术语，用来描述向用户推荐物品的系统。当代的网站和移动应用往往包含了海量的信息，用户逐渐被淹没在信息海洋中。由于供用户选择的项目数量非常多，内容分发平台无法对每一个项目进行审核，这就使得寻找感兴趣的项目成为一个挑战，推荐系统就应运而生了。对具体用户推荐用户可能需要的内容已经成为社交媒体的典型功能范式。现在的互联网平台已经不再要不要推荐系统的问题，而是如何提高推荐系统的精准性问题。通过向用户推荐项目，让用户更容易探索新的需要的信息，减少了信息过载的问题。推荐系统的推荐内容范围很广，从新闻、书籍、视频，到工作、旅游等更复杂的项目，或者像我们所说的短视频，推荐系统都可以推荐。
目前，短视频流媒体由于其快速的网络速度和经济的录制设备，已经成为社交媒体中一个具有吸引力的新兴设施。人们通过类似TikTok、Instagram等社交媒体平台，在几秒钟内就能欣赏到短视频，或发布我们日常生活中的片段。我们可以在手机屏幕上随意观看海量的由消费者产生的内容。但与此同时，过量的数据也可能导致用户体验不够友好。各种知名的社交媒体平台都证明了向用户推荐相关信息的功效。推荐系统通过将用户的兴趣与资源项目进行匹配，抓住用户的注意力。因此，为了更详细地解释消费者的图片和产品属性，利用深度学习模型从辅助事实中提取的多版本特征对提高预测性能有相当大的作用。
目前，推荐系统是网络广告市场上正在崛起的重要的选择辅助工具。推荐系统对复杂的信息进行有条不紊地分析和筛选，帮助客户找到称心的商品，减少网站和移动应用中的信息过载问题。同样的，它还可以通过在发布者和用户之间建立增值关系，通过对用户需求的有效满足，提高用户的忠诚度或粘性。随着基于短视频的社交媒体应用的市场化程度成倍增加，短视频应用已经成为大众日常生活的越来越不可缺的一部分，每天都会产生大量的短视频，同时这些短视频也被大量的用户所观看。在过去的几年里，社交媒体的普及和手机等录制设备的便捷性，使得抖音这样的短视频应用在全球范围内得到了广泛地普及。由于短视频APP在全球范围内受到了用户的好评，普通用户使用短视频平台的平均时间越来越长。对短视频的个性化推荐已经成为一种必要但又具有挑战的需求。推荐功能目的在于主动协助用户观看到可能与自己的喜好相匹配的视频，而不是通过用户的手动搜索。这对于提高消费者的忠诚度、方便新上传的内容在任何社交媒体应用中的传播都是不可或缺的。然而，可扩展性和推荐质量是推荐算法需要面临的两个首要问题。
首先，很多传统的诸如k-近邻这样的推荐算法无法处理目前应用场景中频繁出现的大规模数据集。因此，推荐算法的可扩展性和推荐质量问题是最重要的问题。其次，推荐精度低的推荐算法会削弱用户对应用的满意度。当今，在短视频社交媒体领域，最大的平台之一是中国的TikTok，即大家非常熟悉的抖音。依托于该平台，大量的用户每分钟内都会产生数十万条短视频，上传到系统和分享给其他用户。为了让用户在每次打开抖音的时候，都能看到喜欢看的短视频，并参与其中。推荐系统不能仅仅依靠传统的推荐算法，系统其必须掌握用户的偏好，包括用户的行为以及视频相关的信息，包括视频主题、编辑质量、背景音乐、作者信息等方面的内容。
本研究中，我们主要研究针对短视频应用的推荐方法进行研究。对于企业的人工智能系统来说，如何更好地了解视频内容，并根据用户的喜好进行推荐，一直是企业人工智能系统的重要的目标。随着信息时代的到来，如何利用由用户的行为信息、项目信息等多模态数据，在视频推荐系统中发挥了核心作用。
本文研究旨在训练一种预测模型，对用户行为进行预测，进而根据用户的过往历史记录推荐出更适合用户的信息。预测问题是一个难题，对用户行为的准确预测，具有很高的商业价值和研究价值。在预测研究方面，传统研究都是以特征工程提取和浅层学习模型为主。在真实的网络广告系统中效果不够令人满意，预测精度有待提高。通过对研究现状的分析和探索，本项目的预测研究的难点主要包括：数据规模大、用户随机性行为、用户兴趣的广泛性和高维度特征稀疏处理。
对数据的巨大规模如何处理的问题即是推荐问题中的研究热点，也是广告点击预测的挑战之一。本研究拟采用现实世界中的个人历史行为数据来训练和测试预测和推荐系统。该数据来自于Biendata竞赛平台的抖音公开数据集，由数万个抖音应用中的随机用户和1亿个不同视频组成。整个原始数据中包含了用户的匿名行为信息和视频详细内容信息。庞大的数据量使得算法实现具有很大的挑战。较大的数据集需要更多的训练时间。这就意味着进行超参数训练的成本很高。
在短视频平台中，用户对出现在眼前的短视频，可能会看完整个视频,也可能只看一会儿后因为不感兴趣或不喜欢就直接跳到下一个视频或退出系统。本研究的目标是给定一个视频和一个具体的用户，预测用户完整地看整个视频的概率。为此本研究利用视频和用户间交互行为信息对消费者的偏好进行建模，本文提出了一个通用的视频快速混合推荐模型。在短视频理解领域，特征工程的首要任务是如何刻画顾客的偏好。一般情况下，用户自身的行为序列和时间有关各种属性可以用来刻画出用户的偏好。同样，通过针对多模态信息进行特征设计和完善，可以提高模型学习的泛化和拟合能力，选择理想的特征表示方式同样也是特征更容易被用户接受的重要因素。
本研究从已知的大规模数据库中提取关键特征，并利用这些关键特征来预测用户的偏好，服务于推荐算法。为了分析用户行为，本文从数据集中提取了多模态的视频信息，包括视觉特征、文字特征和音频特征，另外还提取了用户的交互行为信息，如点击、喜欢、观察等。根据这些信息提取特征，本研究将整体特征划分为基本特征、行为特征、人口特征、扩展特征、面部特征、时间特征、视频嵌入特征、音频嵌入特征。进一步地，本研究开发了两个基于神经网络的模型和一个基于梯度提升的决策树模型。考虑到集成学习在众多的应用场景中很有效果，可以降低模型的方差。最后，本文使用集成学习方法将三个基线模型融合在一起得到一个有效的预测模型。
我们的实验结果包括两部分，一是本文算法训练的模型的实验结果，二是融合模型获得的最终分数。我们使用AUC指标作为我们的评估指标。我们的结果清楚地表明，当我们使用混合模型时，AUC有所改善。