ppt模板怎么做 下载网站,如何自己做网站挣钱,三亚推广公司,京东商城网站建设目的0、前言#xff1a;
首先名字别读错#xff1a;an pu ruo ao rui 【拼音发音】Apriori是一种推荐算法推荐系统#xff1a;从海量数据中#xff0c;帮助用户进行信息的过滤和选择。主要推荐方法有#xff1a;基于内容的推荐、协同过滤推荐、基于关联规则的推荐、基于知识的…0、前言
首先名字别读错an pu ruo ao rui 【拼音发音】Apriori是一种推荐算法推荐系统从海量数据中帮助用户进行信息的过滤和选择。主要推荐方法有基于内容的推荐、协同过滤推荐、基于关联规则的推荐、基于知识的推荐、混合推荐。关联分析是一种在大规模数据集中寻找有趣关系的非监督学习算法是利用一些有趣性的量度来识别数据库中发现的强规则。 1、基础概念
频繁项集经常【需要量化】出现在一块的物品的集合关联规则暗示两种物品之间可能存在很强的关系事务将数据看成一条条交易记录的集合事务就是一条交易项交易的每一个物品称为一个项项集包含零个或者多个项的集合k-项集包含k个项的项集前件和后件一个规则中先买了尿布后买了啤酒尿布就是啤酒的前件、啤酒就是尿布的后件常用频繁项集的评估标准有支持度、置信度、提升度 支持度就是几个关联的数据在数据集中出现次数占总数据集的比重。(举例超市一天卖了5单其中有2单同时出现了尿布和啤酒那么{尿布、啤酒}的支持度就是2/50.4)支持度常用来删除一些没意义的规则。置信度就是一个数据出现后另一个数据出现的概率。举例买了尿布后会买啤酒的概率两者同时出现的概率两者的支持度/尿布出现的概率尿布的支持度提升度如果A事件的支持度本来就很高然后求B事件发生后A事件的置信度发现也很高但并没有A事件本身的支持度高就有可能误以为B事件的发生导致A事件发生的可能性增加了。所以加入了提升度的概念举例求A事件发生对B事件的提升度AB同时发生的支持度/B事件发生的持度度提升度大于1表明A对B是有效的强关联规则小于1表明A对B是无效的强关联规则。等于1说明没有提升。 ★发现频繁项集和关联规则如果一一遍历去找关联规则和频繁项集计算量非常大所以要进行筛选。 1、首先设定最小支持度最小置信度找到满足最小支持度的所有项集这些项集叫做频繁项集。2、从频繁项集中提取所有高置信度的规则这些规则就是强关联规则。注意如果一个项集是频繁的那么它的所有子集也是频繁的。注意如果一个项集是非频繁的那么所有包含它的集合也是非频繁的。【通过这条规则减少计算量】 2、算法实现过程
Apriori算法原理所有非频繁项集不用计算减少计算量。获取apriori频繁项集是第一步要通过apriori最终获取强关联规则就要在频繁项集支持度的基础上计算每种规则的支持度。 原始候选集构建1-项集
# 数据集
dataset [[1, 3, 4], [2, 3, 5], [1, 2, 3, 5], [2, 5]]
# 让候选集每一项变成不可变集合进而获取1-项集
def creat_c1(data_set):c1 []for data in data_set:for i in data:if i not in c1:c1.append(i)c1.sort()return list(map(frozenset,[{i} for i in c1])) # frozenset是将集合变成不可变集合目的是最后让frozenset作为字典的key
c1 creat_c1(dataset)[frozenset({1}),frozenset({2}),frozenset({3}),frozenset({4}),frozenset({5})]由1-项集C1转为1-项频繁集L1推出k-项集转k-项频繁集的函数通过支持度筛选频繁集scanD()函数获取所有k-项集的支持度和k-项集对应的k-项频繁集
# C1(1项集):L11项频繁项集
# D数据集
# Ckk项集
# min_support:最小支持度
def scanD(D,Ck,min_support0.1):support_dic {}# 遍历原始交易记录for d in D:for c in Ck:# 判断是否是子集是的话数量加1if c.issubset(d):support_dic[c] support_dic.get(c,0) 1 # 防止刚开始support_dic是空support_data {} # 所有项集的支持度LK [] # 频繁项集# 计算支持度for k,v in support_dic.items():support v/len(D)support_data[k] support
# print(support_data) # 打印支持度# 获得频繁项集if support min_support:LK.append(k)# 返回频繁项集、所有项集支持度return LK, support_data由1-项频繁集产生2-项集的方法推出k-项频繁集产生k1-项集的方法apriori_gen()函数获取所有k-项频繁集Lk对应的k1-项集Ck1如下图以2-项集生成方法说明
# L1(1频繁项集) C22项集
def apriori_gen(LK):Ck []for i in range(len(LK)-1):for j in range(i1,len(LK)):f_set LK[i] | LK[j]# print(f_set)# 不能重复新项集只能是k1项if f_set not in Ck and len(f_set) len(LK[0])1:Ck.append(f_set)# print(Ck)return Ck 获取频繁项集和频繁项集生成过程中产生的项集的支持度
import time
def apriori(D, min_support0.1):c1 creat_c1(D)L1,support1 scanD(D,c1,min_support)# 所有频繁项集L_f []# 所有项集支持度就直接添加到support1中# 循环while True:L_f.append(L1)# 项集C apriori_gen(L1)# 项集——频繁项集L,support scanD(D,C,min_support)L1 Lsupport1.update(support)if len(L1)0:breakreturn L_f,support1获取k项集满足最小置信度的强关联规则的集合 计算置信度confidence(X - Y) P(Y|X) P(XY) / P(X)【在x发生的条件下Y发生的置信度】 calculate_conf()函数计算某个频繁项集对应的满足最小置信度的强关联规则的集合。
# 计算一个项集的所有强关联规则
# 计算置信度
# freqSet: 频繁项集
# H[frozenset({i}) for i in freqSet]
# L, support_Data apriori(dataset, min_supportn)
# brl [ ] # 保存强关联规则的列表
def calculate_conf(freqSet, H, supportData, brl, minConf0.5):newH [ ]# 遍历Hfor s in H:# 置信度conf supportData[freqSet] / supportData[freqSet - s]# conf(3,5-1) P(1, 3, 5) / P(3,5) # display(f--- {freqSet - s} - {s} {conf} ---)# 大于最小置信度的规则是强规则if conf minConf:# 保存强关联规则到brl中brl.append( (freqSet - s, - , s, , conf) ) newH.append(s)return newH
用一个2-项集测试下函数calculate_conf发现对于2-项集函数能够获取所有满足置信度要求的关联规则。
freqSet frozenset({1, 3})
H [frozenset({i}) for i in freqSet]
L, support_data apriori(dataset, min_support0.2)
brl [ ] # 保存强关联规则的列表
# display(freqSet, H)# 计算单个项集的置信度
calculate_conf(freqSet, H, support_data, brl, minConf0.1)
brl[(frozenset({3}), -, frozenset({1}), , 0.6666666666666666),(frozenset({1}), -, frozenset({3}), , 1.0)]# 3-项集
freqSet frozenset({1, 3, 5})
H [frozenset({i}) for i in freqSet]
L, support_data apriori(dataset, min_support0.2)
brl [ ] # 保存强关联规则的列表
# display(freqSet, H)# 计算单个项集的置信度
calculate_conf(freqSet, H, support_data, brl, minConf0.1)
brl[(frozenset({3, 5}), -, frozenset({1}), , 0.5),(frozenset({1, 5}), -, frozenset({3}), , 1.0),(frozenset({1, 3}), -, frozenset({5}), , 0.5)]可以发现在3项集中出现了问题3项集中只有2-项集作为前件的情况没有1-项集作为前件的情况出现了统计不完全的情况。因此为了让统计结果齐全需要重新写个函数完善calculate_conf()函数。
# 考虑2-项集3-项集4-项集...
def rules_from_freq(freqSet, H, supportData, brl, minConf0.7):tmp Truewhile tmp:tmp False# 计算置信度newH calculate_conf(freqSet, H, supportData, brl, minConfminConf)# display(fnewH: {newH})H apriori_gen(newH)# display(fH: {H})# print(* * 100)tmp not (H[ ] or len(H[0]) len(freqSet))
测试通过测试结果可以看出完善之后的函数就能够获得所有满足要求置信度的关联规则
# 3-项集
freqSet frozenset({1, 3, 5})
H [frozenset({i}) for i in freqSet]
L, support_data apriori(dataset, min_support0.2)
brl [ ] # 保存强关联规则的列表
# display(freqSet, H)# 计算单个项集的置信度
rules_from_freq(freqSet, H, support_data, brl, minConf0.1)
brl[(frozenset({3, 5}), -, frozenset({1}), , 0.5),(frozenset({1, 5}), -, frozenset({3}), , 1.0),(frozenset({1, 3}), -, frozenset({5}), , 0.5),(frozenset({5}), -, frozenset({1, 3}), , 0.3333333333333333),(frozenset({3}), -, frozenset({1, 5}), , 0.3333333333333333),(frozenset({1}), -, frozenset({3, 5}), , 0.5)]获取强关联规则的置信度获取给定项集L中满足置信度要求的强关联规则
def gen_rules(L, support_data, min_conf0.5):big_rule_list [ ]for i in range(1, len(L)): # 遍历所有行第一行除外for freqSet in L[i]: # 遍历每一行的所有元素# display(freqSet)H [frozenset({i}) for i in freqSet]# 求每个项集的强关联规则会保存在big_rule_list中rules_from_freq(freqSet, H, support_data, big_rule_list, minConfmin_conf)return big_rule_list3、apriori算法总结通过总结疏通下apriori算法中求频繁项集和求强关联规则的函数构造方法
