前言
本篇博客出于学习交流目的,主要是用来记录自己学习后的理解,过程中遇到的问题和心路历程,方便之后回顾。过程中可能引用其他大牛的博客,文末会给出相应链接,侵删!
REMARK:本人菜鸟一枚,如有理解错误还望大家能够指出,相互交流。也是第一次以博客的形式记录,文笔烂到自己都看不下去,哈哈哈
这篇学习笔记关于一种高效Top-k的频繁效用项集挖掘算法。
参考文献:Efficient Algorithms for Mining Top-K High Utility Itemsets
本篇博客介绍论文中的第二种 one-phase算法TKO,一些必要的基础概念和定义在Top-k高效用项集挖掘学习笔记(一) 基础概念中给出,另一种 two-phase 算法在 Top-k高效用项集挖掘学习笔记(二) TKU 中详细记录,请手动跳转。
正文
TKO算法是这篇文章提出的第二种算法,他只需要一个过程就可以得到结果。这个算法基于HUI-Miner算法以及它的utility-list 结构,TKO的项集从这个utility-list中生成而不扫描原始数据库。本篇结构还是先说基础算法 ,然后再说最终版本,即在基础算法上加优化策略。(算法中包括 优化策略)
utility-list 结构
开始算法前,先简单了解一下utility-list 结构。
项的utility-list 被称作 initial utility-lists,可以通过扫描两次数据库得到。第一次遍历时计算项的TWU值和效用值;第二次扫描数据库时每个交易记录中的项按TWU值大小排序,并且每个项的 utility-list 被创建。
如表7所示,即交易记录中item按TWU值从小到大排序后的结果。
Fig.4展示了各项的utility-lists。每个item都由一个或多个元组组成,即有哪些交易记录包含这些项;元组由三部分组成(Tid,内部效用值iutil,剩余效用值rutil);剩余效用值就是这个item后面的效用值之和,具体看下面的定义。
Definition 17. 前驱和后继(Precede and succeed):
按照TWU值从小到大排列项,
表示
在
之前,即前驱,当且仅当
大于或等于
,并且
按字典序比
小;否则称为后继,记作
(原文符号标记好像有误)。
Definition 18. 项集的级联(Concatenation of an itemset):
有两个项集
和
,当且仅当
并且
的每个 item
都是X所有 item 的后继,
称为
的级联。
Definition 19. (Appear after):
给定优先集合
,和顺序
;假设项集和交易记录中的项都按这个顺序排序好了,在一个交易记录
中,一个项
在项集
之后发生,当且仅当
并且
;
中所有出现在
之后的项集记作
。
Definition 20. 交易记录剩余效用值(Remaining utility of an itemset in a transaction):
Definition 21. 数据库中的剩余效用值(Remaining utility of an itemset in a database):
Definition 22. 效用列表结构(Utility-list structure):
项集X的Utility-list记作 ,里头存着若干三元组,有几个交易记录包含该项集就有几个元组,每个元组 ,即交易记录的序号,X在交易记录上的效用值,X在交易记录上的剩余效用值。
以表7的数据集为例, 在 上的剩余效用值 ; 在整个数据集上的剩余效用值 ; 在整个数据集上的剩余效用值 。
Property 4.在项集X的Utility-list中,所有元组第二列( )的结果相加即X的效用值。
Property 5.有项集 和级联项集 ,如果把元组第二列( )和第三列( )全部求和的效用值小于阈值 ,那么 的效用值也小于 。
是 级联,根据定义18, 中多的项一定排在 之后,而 的 和 的累加和一定大于等于 的 和 的累加和,根据 所以一定大于Y的效用值。
算法——基础算法
输入参数k和一个数据集 ; 开始时设置 ,并且创建一个小堆结构 来存储过程中的top-k ;算法扫描两边数据库创建initial utility-lists ;然后用Topk-HUI-Search 算法(基于结合RUC:Raising threshold byUtility of Candidates和HUI-Miner算法,出自参考论文14)去挖掘搜索空间中的top-k HUI;算法不断更新 中的top-k ,并利用列表中的信息更新 ;算法结束时, 中保存的即为top-k 完整解集。
对于每个搜索过程产生的L-项集 ,如果都不小于 ,那么利用RUC策略来更新 的值。RUC就是把X加入 中,然后 更新为第k大EU值项集的阈值,把低于 的项集从 中删去,保证 中只有top-k个。
算法伪代码如下图所示:
比较项集 的 和 的累加和与 大小,利用Property 5剪枝(第六行); 和 分别储存项集级联以及他们的 utility-lists(第七行);候选项集 ,并创建Z的utility-lists ,之后就是不断迭代的过程,直到没有候选项集生成时停止。
策略6:RUC(Raising the threshold by the Utilities of Can-didates)
这个策略可以用于任何one-phace依赖效用值建立的算法。该策略用
结构保存top-k
,并把项集按降序排列。最初
为空,把新项集X加入
中,然后
更新为第k大EU值项集的阈值,把低于
的项集从
中删去,保证
中只有top-k个。
当给定两个项集 和 以及他们的前缀 ,在Topk-HUI-Search 算法过程中,项集 的utility-lists 由下结构过程生成,其中包括两种情况:
CAES1:假设有一项集 和 ,并且 。让 是由X级联 生成的二项集。utility-lists 和utility-lists 初始化的时候就被创建了,而utility-lists 是通过下面的方法得到。包含项集Z的交易记录记为 ,在utility-lists 中创建元组 ,其中 ,
CAES2:假设有L-1项集
和
(
),有
以及
。让
是由X级联
生成的L项集;让
是
和
的共同前缀,给出utility-lists
,
和
,而utility-lists
是通过下面的方法得到。
包含项集Z的交易记录记为
,在utility-lists
中创建元组
,其中
,
。
算法——最终算法
将给出四种改进策略用于 算法就是 算法,前两种是PE和DGU,这两个在前一个算法里以及说明了。下面说另外两种改进策略。
Definition 23. (Z-element):当一个元素的剩余效用值是0的时候被称为Z-element,否则被称为NZ-element。在X的效用列表中的所有Z-element集合记作 。
例如, 有两个Z-element, 。
Property 6. 是项集 的所有NZ-element的第二列(iutil)的和,如果 ,那么所有项集 的级联都不是top-k HUIs。
策略7:RUZ(Reducing estimated utility values by using Z-elements)
该策略用在用于Topk-HUI-Search 算法生成候选项集过程中,根据Property 6,我们没必要生成
小于
的项。
策略8:EPB(Exploring the most Promising Branches first)
该策略的目标是优先生成那些高效用值的候选项集,利用思想总是先扩展拥有最高预计效用值的项,这样更可能得到高效用值,因为这样可以更早的提早
,就可以剪枝更多的搜索空间。
总结
作者在多个不同稀疏程度的数据集上作了对比,对比 和 算法,总体上 效果要好,包括内存消耗和速度上,因为 是one-phace算法,具体详细对比可以看原文。
这篇文章看起来内容很多,但是如果把定义都理解清楚还是容易看懂的,最后几乎快变成翻译这篇论文了,不过我已经尽量简化一些复杂的定义和理解了。作为一个记录吧,希望以后自己再看起来方便回顾。