乐平市网站建设,头像在线制作网站,热点新闻,网站开发教程 视频教程本文始发于个人公众号#xff1a;TechFlow#xff0c;原创不易#xff0c;求个关注今天是机器学习专题的第29篇文章#xff0c;我们来聊聊SVD在上古时期的推荐场景当中的应用。推荐的背后逻辑有没有思考过一个问题#xff0c;当我们在淘宝或者是某东这类电商网站购物的时候…本文始发于个人公众号TechFlow原创不易求个关注今天是机器学习专题的第29篇文章我们来聊聊SVD在上古时期的推荐场景当中的应用。推荐的背后逻辑有没有思考过一个问题当我们在淘宝或者是某东这类电商网站购物的时候。我们一进首页就会看到首页展出了很多商品。这些商品往往质量很高很吸引人一旦逛起来可能就没个结束。那么问题来了电商平台拥有那么多商品它是怎么知道我们可能会喜欢什么样的商品的呢这背后的逻辑是什么简单来说在这背后平台端的算法做了两件事情第一件事情是召回第二件事情是排序。本质上来说和搜索引擎做的事情是类似的只是不同的是搜索的时候我们有搜索词作为输入而首页的推荐是没有任何显性的输入信息的。所以召回的时候只能根据用户画像的一些特征和用户之前在平台上的行为来作为特征召回商品召回了商品之后再用一个模型预估用户点击的概率根据这个概率进行排序。虽然召回-排序的框架没有变但是召回的算法、逻辑以及排序的算法和逻辑一直在迭代。尤其是召回模型从一开始的协同过滤再到后来的向量召回、双塔模型以及树模型等等有了巨大的进步模型的效果自然也有了一个质的飞跃。今天我们来着重聊聊协同过滤虽然这个模型非常简单目前也几乎已经退出历史舞台了但是这不妨碍它仍然是一个经典的算法值得我们学习。协同过滤的原理协同过滤的原理非常简单一句话概括就是寻找相似的商品以及相似的人。因为在平台当中的商品和人可能数量都非常大当我们要进行推荐的时候我们不可能穷举所有的商品来进行预测点击率这显然是机器无法抗住的。所以我们希望把用户在平台上的行为使用起来让用户的行为给平台作为指引。根据用户的行为寻找出行为相似的用户以及相似的商品。所以协同过滤有两套逻辑也可以认为是两种做法。第一种做法是user-based也就是寻找偏好相似的用户这个不难理解比如说经常买文具、买书的大概率是学生。假设我们知道了A和B行为相似也就是说他们可能有相似的喜好。那么假设A购买过商品1并且给出了好评而B没有购买过那么很有可能B也会喜欢这个商品所以我们就可以推荐给B。第二种做法自然就是item-based比如你搜索点击了一个商品A平台会将和这个商品类似的商品BCD推荐给你会放在商品详情页的下方的猜你喜欢当中。比如你看的是衬衫它可能会给你推荐别家的衬衫也可能给你推荐西裤或者是领带。本质上逻辑是一样的因为这些商品和这件衬衫的相关度比较高。下一个问题是用户和用户商品和商品之间的相关度是怎么来的呢答案很简单是通过这个矩阵来的我们观察一下这个矩阵这是一个用户和商品的相关行为矩阵每一行表示一个用户的行为每一列表示每一个商品的销售情况。也就是说我们可以用这个矩阵当中的行向量表示用户列向量表示商品。既然我们把用户和商品用向量表示出来了接下来的事情就很简单了我们只需要计算向量之间的相似度就可以找到相似的用户以及商品了。我们要计算向量的相似度有很多种办法我们可以计算两个向量的余弦值可以计算欧式距离、皮尔逊值等等。SVD的作用其实到这里关于协同过滤就介绍完了但问题是这和SVD看起来好像没什么关系呀我们仔细琢磨一下就能发现它们之间的关系对于规模比较小的公司或者场景来说这当然是没问题的。比如说电影评分网站因为电影的数量往往不会很大充其量也在万这个量级所以这个矩阵可能还是存的下的。如果是电商公司商品和用户都是亿这个维度的这个矩阵显然是非常巨大的根本不可能在内存当中存储得下更别提相似度计算了。并且这样的矩阵必然存在大量稀疏和空缺我们将它使用SVD压缩也是非常合理的做法。首先我们开发出一个辅助函数根据我们设置的百分比计算出最少需要的奇异值的数量def 其次我们对原矩阵进行svd分解并且设置阈值对原矩阵进行压缩data 最后压缩之后得到的是item的矩阵其中的每一个行向量对应一个item。这只是一个模拟如果是在实际上的应用我们可以将几亿甚至是更多的维度压缩到几百甚至更少极大的缩减了存储所需要的开销。而且svd的计算是可以分布式并发进行的所以即使原始数据非常庞大也是可以支撑的。总结到这里关于协同过滤算法以及SVD的应用就结束了虽然算法非常简单实现起来也容易但是这其中还有很多问题没有解决。比如说这个用户和商品的矩阵并不是一成不变的因为我们随时都会有新商品上架以及新用户注册对于这些没有行为的新商品和新用户应该怎么办另外一个问题是这个算法没有改进的空间一旦实现完成了上线之后我们做不了太多的改进。如果是其他的模型或者是算法我们可以通过迭代算法以及模型的方法来获取更好的效果但是协同过滤不行。这也是为什么逐渐被淘汰的原因。今天的文章到这里就结束了如果喜欢本文的话请来一波素质三连给我一点支持吧关注、转发、点赞。
