摘要
为了提高用户满意度和业务效率，点击率(CTR)预测是电子商务中最重要的任务之一。通常的情况是，用户的兴趣可能会与他们过去的习惯不同，或者像促销项目这样的印象可能会在很短的时间内爆发。从本质上讲，这些变化与项目演化问题有关，而以往的研究还没有对此进行研究。序贯推荐中最先进的方法使用简单的用户行为，不能对这些变化进行充分建模。这是因为，在用户行为中，可能存在过时的兴趣，并且没有很好地表示项目随时间的受欢迎程度。为了解决这些限制，我们引入了时间感知的项目行为来解决新兴偏好的推荐。项目的时间感知项目行为是一组使用时间戳与该项目交互的用户。用户对某一项目的丰富交互信息可能有助于对其演变进行建模。在这项工作中，我们提出了一个基于时间感知项目行为的CTR预测模型TIM。在Tien中，通过利用交互时间间隔，短时间间隔内相似用户的信息有助于识别目标用户正在出现的用户兴趣。通过使用顺序时间间隔，可以在进化项目动态中捕获项目随时间的受欢迎程度。不小心与物品交互的嘈杂用户被进一步排除，从而学习稳健的个性化物品动态。据我们所知，这是针对电子商务CTR预测的项目演化问题的首次研究。我们在五个真实的CTR预测数据集上进行了广泛的实验。结果表明，与现有方法相比，TIEN模型取得了显著的改进。
亚马逊(Amazon)和淘宝(Taobao)等大型电子商务门户网站如今正为数亿用户提供数十亿件商品。为了提高用户满意度和业务有效性，点击率(CTR)预测一直是电子商务中最重要的任务之一。随着深度神经模型的快速发展，大多数先进的CTR预测模型[8，17，26，32-34]通过利用顺序用户行为获得了巨大的成功。对于给定的用户，用户行为由用户与之交互的项目组成，这使得模型可以根据历史行为预测他/她的潜在兴趣。然而，用户的偏好可能会迅速改变或浮现，例如突发新闻、推文或照片可能偶尔会吸引用户的兴趣。在电子商务中也有一些情况，用户的兴趣可能会漂移，或者一些商品可能会突然爆裂。例如，在购物节期间，比如亚马逊的黑色星期五和淘宝的双11，用户的偏好可能会与他们的日常生活不同，促销中的商品可以在很短的时间内走红。在这种情况下，使用典型的用户行为通常无法预测用户的新兴兴趣。究其原因，不仅是因为用户行为中可能存在过时的兴趣，而且用户新偏好的预测在很大程度上依赖于项目的演化。这个问题是实质性的，但前人的研究成果很少。我们称之为物品演化问题。因此，本文重点研究如何在电子商务CTR预测中推荐新兴偏好。
为了解决这一问题，我们在CTR预测任务中除了引入用户行为外，还引入了项目行为。项目的项目行为是与该项目交互的一组用户。它可以被看作是全球性的互动行为。相反，用户行为被视为本地交互行为，因为其他用户的交互信息不可用。社交网络推荐[5，19，24，31]中提出的项目行为是为了找到一组在项目行为上与交互用户相似的用户。项目行为可以应用于我们的问题，因为丰富的用户交互信息可能有助于对项目的演化进行建模。以往的研究要么通过简单的聚合来整合物品行为，要么将物品行为作为一个行为序列来捕捉物品在时间演化过程中的动态变化[29，30]。然而，这些方法要么对项目行为中的用户一视同仁，要么只保留项目行为序列中用户的顺序，在推荐新出现的偏好时忽略了两个可能的时间敏感特征。
首先，项目行为中的互动时间对于预测项目的潜在受众至关重要。用户可能已经与远离当前的项目进行了交互，现在他们可能已经改变了自己的兴趣。在项目行为中忽略交互时间的方法可能会将用户过时的兴趣分散到他们当前相似的用户。例如，一名女学生几年前购买了一件校服，由于兴趣的漂移，她现在可能更喜欢女装或都市时装，因此不适合向类似用户推荐校服。相反，校服应该推荐给最近购买过校服的类似用户。其次，项目行为中的交互时间对于反映项目随时间变化的用户吸引力至关重要。即使具有相同项目行为的项目也可能具有不同的流行趋势和生命周期。例如，项目A和项目B具有相同的交互用户，但交互时间分别是一天前和一年前。这意味着在这个时候，A项比B项更受欢迎。因此，在当前时间之前点击或购买的项目对当前推荐的影响可能较小。不幸的是，将项目行为建模为序列只是忽略了交互时间戳，这会导致两个项目的时间动态相同。上述限制表明，进化项目动态对于新兴偏好推荐非常重要。在本文中，我们提出了时间感知项目行为来解决这一限制。与传统的项目行为不同，项目的时间感知项目行为是一组使用时间戳与该项目交互的用户。有时间意识的项目行为有助于推荐新出现的偏好，因为它们可能暗示了项目随时间的潜在偏好演变和影响。
项目行为中的时间意识有助于关注最近一段时间内与特定项目交互的用户。然而，新出现的偏好推荐可能会受到噪声交互的影响。这是因为与目标用户相似的用户的噪声行为使推荐变得不可靠。例如，在最近的一段时间里，喜欢时政新闻的用户A不小心点击了一条娱乐新闻。与用户A相似的用户B也更喜欢政治新闻。即使时间意识生效，由于用户A和B在最近一段时间的兴趣相同，娱乐新闻仍然会被不必要地推荐给用户B。此外，Guo et al.。[6]指出即使是相同的项目，对于不同的用户也应该有不同的看法。为了实现这一点，注意力机制被用来激活与特定目标用户相关的项目行为中最相似的用户[6，14]。然而，如果只考虑最相似的用户，嘈杂的交互可能会导致不可靠的个性化项目动态。为了获得稳健的个性化项目动态，如何消除时间感知项目行为中的噪声用户仍然是一个挑战。
在此基础上，提出了基于深度时间感知的物品进化网络TIEN(Deep Time-Aware Item Evolution Network)来解决物品进化问题。在本文中，我们提出了一个时间间隔关注层，根据历史交互和推荐时间之间的间隔来计算每个用户在项目行为中的重要性权重。这使得模型能够在项目行为中关注有价值的用户。此外，还提出了一种稳健的个性化关注层，以消除用户在物品行为中的噪声，从而实现稳健的个性化物品动态。最后，提出了一种TimeAware演化层，对物品行为中的时间间隔序列进行建模，以捕捉物品的受欢迎度，从而使具有相同物品行为的两件物品可以表现为不同的受欢迎度。因此，通过充分利用全局项目行为，即对随时间变化的个性化项目动态和受欢迎程度进行建模，可以实现对新兴偏好的更准确的推荐。本文的贡献概括为：
- 据我们所知，这是针对电子商务CTR预测的项目演化问题的首次研究。为了解决这个问题，我们引入了时间感知的项目行为，这是对传统用户行为的扩展，没有被用于推荐新出现的偏好
- 为了充分利用时间感知项目行为中丰富的交互信息，我们提出了以下两种技术。第一种是关注物品行为的最新交互作用，利用连续的时间间隔捕捉进化的物品动态。第二个是消除噪声交互，这有助于实现稳健的个性化项目动态。
以前方法的弊端：然而，以前基于RNN的方法忽略时间戳，只保留项的顺序。换句话说，这些方法隐含地假设序列中的相邻用户具有相同的时间间隔。此外，以往的研究使用最相似的用户来学习个性化项目表征，在项目行为中可能存在不必要的噪声交互，从而导致不可靠的个性化项目动态。
在这一部分中，我们展示了我们的模型Tien，如图1所示。Tien同时利用了用户行为和项目行为。项目的项目行为是与该项目交互的一组用户。提出了时间间隔关注层，根据历史交互和推荐时间之间的间隔来计算每个用户在项目行为中的重要性权重。这使得模型能够在项目行为中关注有价值的用户。在此基础上，提出了一种稳健的个性化关注层，以消除用户在物品行为中的噪声，从而实现稳健的个性化物品动态。最后，提出了一种时间感知进化层来建模物品行为中的时间间隔序列，以捕捉物品的受欢迎度，使得具有相同物品行为的两个物品可以表现出不同的受欢迎度。除上述三个组成部分外，该模型的嵌入层和下游应用网络与相关的CTR预测模型具有相似之处。
e是用户项目embedding后的表示
时间间隔的embedding
注意力机制的使用，在途中并没有看到具体的显示。估计是图中的多头注意力机制
4式和5式应该一起的
通过同时考虑时间间隔嵌入和平滑目标用户嵌入来计算每个用户在项目行为中的权重，并将该权重应用于项目行为的隐藏状态，从而通过加权和来实现稳健的个性化项目动态。此外，为了使模型能够在不同的位置共同关注来自不同表示子空间的信息，我们采用了多头注意，如下[28]。多头注意的定义如下：
接下来的运算就比较常规了
在很多场景下，每件商品都有不同的流行趋势和生命周期，这也是电商中一件商品最重要的特点。然而，以前将项目行为建模为序列的方法[6，14，29，30]简单地忽略了项目行为的交互时间戳，这导致两个项目的时间动态相同。因此，对于新兴偏好推荐来说，捕捉进化项目动态是有益的。
