0元购怎么在网站做,企业所得税怎么收的,wordpress 弹出登录框,深圳华强北附近租房哪里便宜来源#xff1a;知乎丨羊老头说起联邦学习#xff0c;大家再熟悉不过了#xff0c;由于其能在数据不移动的前提下协同训练一个全局共享的模型#xff0c;迅速成为了人工智能安全领域的一个研究热点。推荐系统作为人工智能领域最振奋人心的应用之一#xff0c;与联邦学习相… 来源知乎丨羊老头说起联邦学习大家再熟悉不过了由于其能在数据不移动的前提下协同训练一个全局共享的模型迅速成为了人工智能安全领域的一个研究热点。推荐系统作为人工智能领域最振奋人心的应用之一与联邦学习相结合的研究也越发受到工业界和学术界的关注。最近中国科学信息科学 杂志最新综述《基于联邦学习的推荐系统》以下简称“联邦推荐”概述了一些联邦学习和推荐系统结合的研究工作非常适合对联邦学习和推荐系统感兴趣的同学阅读。本文旨在帮助大家快速了解这篇综述并给想入门联邦研究的同学推荐一些相关的论文。需要说明的是联邦推荐这一新兴方向发展迅速作者研究方向和写作时间有限文中难免有错误和不足之处恳请读者和专家批评指正。梁锋,羊恩跃,潘微科,杨强,明仲. 基于联邦学习的推荐系统综述[J]. 中国科学:信息科学, 2022, 52(5):1-29.Feng Liang, Enyue Yang, Weike Pan, Qiang Yang and Zhong Ming. A Survey of Recommender Systems Based on Federated Learning (in Chinese) [J]. SCIENTIA SINICA Informationis, 52(5):1-29, 2022.注文末附有论文和幻灯片的链接。1引言1.1 为什么需要联邦学习你有没有想过当你躺在沙发上刷抖音视频时为什么刷到的视频大多是你喜欢的内容当你打开淘宝的时候为什么显示的商品大部分是你感兴趣的好像这些APP比你自己更懂你这正是推荐系统在其中发挥的作用。推荐系统通常会收集你的信息例如你在APP上注册时填写的性别、年龄和地理位置等信息并通过你在APP上的行为例如你在APP上浏览的内容等来刻画用户画像然后通过推荐算法把一些可能感兴趣的物品推荐给你。但是享受个性化推荐服务的前提是你需要将自己的个人信息和历史行为记录交付给APP即我们常说的“隐私换服务”。随着通用数据保护条例等隐私和数据保护法律法规的颁布, 以及人们隐私保护意识的提高用户隐私安全愈发受到重视。你不禁会想在享受个性化推荐服务的同时能否保护用户的个人隐私当然联邦学习能够让推荐系统中的用户重新获得数据的控制权。在联邦学习的训练过程中用户的原始数据始终保留在用户客户端本地服务端和用户之间通过共享加密的或不包含隐私信息的中间参数的方式进行模型训练和参数更新进而在保护用户隐私的前提下构建一个有效的机器学习模型。因此联邦学习和推荐系统的结合旨在保护用户隐私和商业机密的前提下为用户提供精准的个性化服务。1.2 综述总览在联邦推荐场景中一个客户端可以是一个用户或一个组织客户端需在不共享数据的前提下联合建模。如图 1 所示我们可以从架构设计、系统的联邦化和隐私保护技术的应用三个角度论述基于联邦学习的推荐系统的研究进展。图1 联邦推荐系统分类2基于联邦学习的推荐系统2.1 架构设计与一般联邦学习领域的架构设计类似在联邦推荐系统的研究中使用的架构可以分为客户端-服务端架构和去中心化架构如图 2 所示。客户端–服务端架构的训练流程为服务端初始化模型参数并将模型参数发送给各个客户端客户端利用本地数据以及从服务端接收到的最新的模型参数进行训练并将中间参数发送给服务端服务端聚合中间参数更新全局模型再把模型回传给客户端重复步骤2和3直到模型收敛。特点这类架构能够利用服务端的计算资源减少客户端的计算压力但容易发生单点故障。同时对于好奇的服务端其可能根据客户端上传的中间参数推断客户端的隐私信息从而泄露客户端的隐私。去中心化架构的训练流程为服务端初始化模型参数然后将模型参数发送给各个客户端客户端利用本地数据进行模型训练并更新本地的模型参数客户端选取一些其他客户端, 发送本地的中间参数同时接收其他客户端的中间参数并更新本地的模型重复步骤2和3直到模型收敛。特点1匿名性。在模型训练过程中客户端能以匿名的方式发送中间参数给其他客户端从而解决客户端之间的隐私泄露问题。2节省服务端的资源。服务端仅需初始化模型参数将模型参数分发给各个客户端不需要参与模型的更新。3高可用性。不存在单点故障即不会因为服务端的某一个部件出错而导致整个联邦学习系统中止训练。两者的相同之处客户端的原始数据不离开本地通过服务端与客户端之间的通信或客户端与客户端之间的通信以发送中间参数的训练方式来得到一个共享的模型。图2 联邦学习的架构设计2.2 推荐系统的联邦化推荐模型的联邦化具有一定的共性一个联邦推荐模型的训练框架通常适用于具有相同训练方式的其他模型。然而考虑到不同场景中的隐私保护级别可能不同以及不同模型参数可能带来的不同隐私问题不同推荐模型在联邦化的过程中存在一定的差异。对于模型的联邦化可以划分为基于协同过滤的推荐算法的联邦化、基于深度学习的推荐算法的联邦化和基于元学习的推荐算法的联邦化三个类别。在此分类下一些经典的和前沿的推荐模型的联邦化例子及其特点如图 3 所示。图3 推荐模型的联邦化2.3 隐私保护技术的应用基于不同的隐私保护技术联邦推荐算法可以分为基于同态加密的联邦推荐算法、基于差分隐私的联邦推荐算法、基于本地差分隐私的联邦推荐算法和基于安全多方计算的联邦推荐算法。图 4 总结了一些隐私保护技术在联邦推荐算法设计中的应用。图4 联邦推荐中的隐私保护技术3未来研究展望3.1 推荐系统的联邦化传统的推荐模型的联邦化方面的相关工作仍存在其他的隐私问题在联邦推荐模型中通过隐私保护技术来保护隐私方面会带来通信成本增加、计算复杂度增大和推荐性能下降等新的问题联邦模型的训练方式与非联邦版本等价的同时算法的训练效率较低在对基于深度学习的推荐算法进行联邦化方面客户端的存储资源和计算能力通常无法与庞大的神经网络相匹配并且客户端自身的数据量有限难以训练出较好的深度学习模型。边缘计算和知识蒸馏是两个解决客户端资源受限的研究思路目前还没有公开发表的面向序列反馈和异构反馈建模的联邦推荐方法3.2 联邦推荐系统的优化模型压缩、通信策略的改进、激励机制和客户端采样等优化方法如何在联邦推荐模型中应用如何为特定的推荐模型设计更有效的优化算法3.3 联邦推荐场景中的隐私安全问题如何衡量联邦场景中的隐私安全问题并对已有工作中存在的隐私问题设计一个更为有效的解决方法如何在可能存在恶意的客户端和服务端或者存在一些数据质量较低的客户端的环境下设计联邦推荐模型客户端如何运用模型投毒防御和对抗攻击防御等防御手段来保护自己模型的安全性和有效性4. 部分联邦推荐相关的论文非完整列表去中心化的分布式矩阵分解框架DMFChaochao Chen, Ziqi Liu, Peilin Zhao, Jun Zhou, Xiaolong Li. Privacy preserving point-of-interest recommendation using decentralized matrix factorization [C]. In: Proceedings of the 32nd AAAI Conference on Artificial Intelligence (AAAI18), pages 257-264, 2018. paper联邦协同过滤推荐算法FCFMuhammad Ammad-ud-din, Elena Ivannikova, Suleiman A. Khan, Were Oyomno, Qiang Fu, Kuan Eeik Tan, Adrian Flanagan. Federated collaborative filtering for privacy-preserving personalized recommendation system [J]. CoRR, 2019, abs/1901.09888. Paper基于隐私保护的余弦相似度算法PPCSCHarmanjeet Kaur, Neeraj Kumar, Mohammad S. Obaidat. Multi-party secure collaborative filtering for recommendation generation [C]. In: Proceedings of 2019 IEEE Global Communications Conference (GLOBECOM19), pages 1-6, 2019. paper用户能调节自身隐私级别的去中心化分布式矩阵分解框架PDMFRecErika Duriakova, Elias Z. Tragos, Barry Smyth, Neil Hurley, Francisco J. Pena, Panagiotis Symeonidis, James Geraci, and Aonghus Lawlor. PDMFRec: A decentralised matrix factorisation with tunable user-centric privacy [C]. In: Proceedings of the 13th ACM Conference on Recommender Systems (RecSys19), pages 457-461, 2019. paper联邦矩阵分解算法FederatedMFKoustabh Dolui, Illapha Cuba Gyllensten, Dietwig Lowet, Sam Michiels, Hans Hallez, Danny Hughes. Towards Privacy-preserving Mobile Applications with Federated Learning: The Case of Matrix Factorization [C]. In: Proceedings of the 17th Annual International Conference on Mobile Systems, applications, and Services (MobiSys19), pages 624--625, 2019. paper基于秘密共享技术的共享矩阵分解方法SharedMFSenci Ying. Shared MF: a privacy-preserving recommendation system [J]. CoRR, 2020, abs/2008.07759. paper基于FATE平台的在线联邦推荐系统FedRecSysBen Tan, Bo Liu, Vincent W. Zheng, Qiang Yang. A federated recommender system for online services [C]. In: Proceedings of 14th ACM Conference on Recommender Systems (RecSys20), pages 579-581, 2020. paper基于位置敏感哈希的联邦推荐算法FRecLSHHongsheng Hu, Gillian Dobbie, Zoran Salcic, Meng Liu, Jianbing Zhang, Xuyun Zhang. A locality sensitive hashing based approach for federated recommender system [C]. In: Proceedings of 20th International Symposium on Cluster, Cloud and Internet Computing (CCGRID20), pages 836-842, 2020. paper基于差分隐私技术的本地协同过滤算法DPLCFChen Gao, Chao Huang, Dongsheng Lin, Depeng Jin, Yong Li. DPLCF: differentially private local collaborative filtering [C]. In: Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR20), pages 961–970, 2020. paper安全社交推荐框架SeSoRecChaochao Chen, Liang Li, Bingzhe Wu, Cheng Hong, Li Wang, Jun Zhou. Secure social recommendation based on secret sharing [C]. In: Proceedings of the 24th European Conference on Artificial Intelligence (ECAI20), pages 506-512, 2020. paper可快速训练的联邦推荐框架FedFastKhalil Muhammad, Qinqin Wang, Diarmuid OReilly-Morgan, Elias Z. Tragos, Barry Smyth, Neil Hurley , James Geraci, Aonghus Lawlor. FedFast: going beyond average for faster training of federated recommender systems [C]. In: Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD2020), pages 1234–1242, 2020. paper基于深度结构化语义模型的联邦多视图框架FL-MV-DSSMMingkai Huang, Hao Li, Bing Bai, Chang Wang, Kun Bai, Fei Wang. A federated multi-view deep learning framework for privacy-preserving recommendations [J]. CoRR, 2020, abs/2008.10808. paper安全的联邦子模型学习框架SFSLChaoyue Niu, Fan Wu, Shaojie Tang, Lifeng Hua, Rongfei Jia, Chengfei Lv, Zhihua Wu, Guihai Chen. Billion-scale federated learning on mobile clients: A submodel design with tunable privacy [C]. In: Proceedings of the 26th Annual International Conference on Mobile Computing and Networking (MobiCom20), pages 31:1-31:14, 2020. paper联邦多视图矩阵分解算法FED-MVMFAdrian Flanagan, Were Oyomno, Alexander Grigorievskiy, Kuan Eeik Tan, Suleiman A. Khan, Muhammad Ammad-ud-din. Federated multi-view matrix factorization for personalized recommendations [J]. CoRR, 2020, abs/2004.04256. paper基于联邦学习的元矩阵分解框架MetaMFYujie Lin, Pengjie Ren, Zhumin Chen, Zhaochun Ren, Dongxiao Yu, Jun Ma, Maarten de Rijke, Xiuzhen Cheng. Meta Matrix Factorization for Federated Rating Predictions [C]. In: Proceedings of the 43rd International ACM SIGIR conference on research and development in Information Retrieval (SIGIR20), pages 981-990, 2020. paper隐私保护的推荐框架PriRecChaochao Chen, Jun Zhou, Bingzhe Wu, Wenjing Fang, Li Wang, Yuan Qi, Xiaolin Zheng. Practical privacy preserving POI recommendation [J]. ACM Transactions on Intelligent Systems and Technology, 2020, 11(5):52:1-52:20. paper联邦新闻推荐框架FedNewsRecTao Qi, Fangzhao Wu, Chuhan Wu, Yongfeng Huang, Xing Xie. Privacy-preserving news recommendation model training via federated learning [J]. CoRR, 2020, abs/2003.09592. paper面向显式反馈的无损联邦推荐算法FedRecFeng Liang, Weike Pan, Zhong Ming. FedRec: Lossless federated recommendation with explicit feedback [C]. In: Proceedings of the 35th AAAI Conference on Artificial Intelligence (AAAI21), pages 4224-4231, 2021. paper基于同态加密技术的安全联邦矩阵分解框架FedMFDi Chai, Leye Wang, Kai Chen, Qiang Yang. Secure federated matrix factorization [J]. IEEE Intelligent Systems, 2021, 36(5):11-20. paper隐私保护的推荐系统框架PPRSFJiangcheng Qin, Baisong Liu, Jiangbo Qian. A novel privacy-preserved recommender system framework based on federated learning [C]. In: Proceedings of the 4th International Conference on Software Engineering and Information Management (ICSIM2021), pages 82-88, 2021. paper强隐私保护的面向隐式反馈的联邦协同过滤Lorenzo Minto, Moritz Haller, Benjamin Livshits, Hamed Haddadi. Stronger privacy for federated collaborative filtering with implicit feedback [C]. In: Proceedings of the 15th ACM Conference on Recommender Systems (RecSys21), pages 342–350, 2021. paper联邦序列推荐模型DeepRecJialiang Han, Yun Ma, Qiaozhu Mei, Xuanzhe Liu. DeepRec: On-device deep learning for privacy-preserving sequential recommendation in mobile commerce [C]. In: Proceedings of the 30th International Conference on World Wide Web (WWW21), pages 900–911, 2021. paperGNN联邦推荐学习框架FedGNNChuhan Wu, Fangzhao Wu, Yang Cao, Yongfeng Huang, Xing Xie. FedGNN: federated graph neural network for privacy-preserving recommendation [J]. CoRR, 2021, abs/2102.04925. paper基于虚假掩码和秘密共享的联邦推荐FR-FMSSZhaohao Lin, Weike Pan, Zhong Ming. FR-FMSS: federated recommendation via fake marks and secret sharing [C]. In: Proceedings of the 15th ACM Conference on Recommender Systems (RecSys21), pages 668–673, 2021. paper论文链接基于联邦学习的推荐系统综述 https://www.sciengine.com/publisher/scp/journal/SSI/doi/10.1360/SSI-2021-0329?slugabstract幻灯片链接https://pan.baidu.com/link/zhihu/7dh0zauOh5imVRNGp2ZF1LJzN5VMp0TQQ5AT注幻灯片首页截图bibtex格式引文中文% Journal
article{Journal-CN-SSI-22-Suvery,author {梁锋羊恩跃潘微科杨强明仲},title {基于联邦学习的推荐系统综述},journal {中国科学:信息科学},volume {52},number {5},pages {1--29},year {2022}
}英文% Journal
article{Journal-CN-SSI-22-Suvery,author {Feng Liang and Enyue Yang and Weike Pan and Qiang Yang and Zhong Ming},title {A Survey of Recommender Systems Based on Federated Learning (in Chinese)},journal {SCIENTIA SINICA Informationis},volume {52},number {5},pages {1--29},year {2022}
}未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市大脑研究计划构建互联网城市大脑技术和企业图谱为提升企业行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
