做网站的专业叫什么软件,网站添加在线支付,网站显示系统建设中,中国建设银行海南省分行网站编 | iven感谢提供本期内容的 ZenMoore、 jxyxiangyu、付瑶大家好#xff5e; 11月的新闻速报来啦#xff01;上个月不知道大家有没有忙着写文章#xff0c;反正小编是这样的#xff1a;好啦#xff0c;让我们快来回顾上个月的 AI 大新闻吧#xff01;学术进展何恺明 Mas… 编 | iven感谢提供本期内容的 ZenMoore、 jxyxiangyu、付瑶大家好 11月的新闻速报来啦上个月不知道大家有没有忙着写文章反正小编是这样的好啦让我们快来回顾上个月的 AI 大新闻吧学术进展何恺明 Masked Autoencoders自监督恢复原图就行像 MLM 一样直接重构图片里的像素竟然也能 work。这篇文章构建了不对称的自编码器用来恢复图片中 mask 掉的像素。这样朴素的想法在 ViT 盛行的今天显得格格不入Yoshua Bengio 一作长达 70 页为主动学习拓展理论在 NeurIPS 提出生成流网络GFlowNets之后Yoshua Bengio 又为我们详细阐述了它的数学框架和数学性质。同时对原始 GFlowNet 的理论进行了扩展。https://arxiv.org/abs/2111.09266Gradients are Not All You Need梯度反传可以说是过去几十年中机器学习复兴的主角。也正是 PyTorch TensorFlow 等自动微分库的出现让越来越多的人进入机器学习领域。这篇工作讨论了在使用迭代可微系统时出现的一个潜在问题。当通过迭代可微系统计算梯度时我们需要计算由状态转换雅可比行列式的乘积组成的项。如果 Jacobian 的特征值大于 1则梯度会爆炸。小于 1, 梯度则会消失。针对这个问题文章给出了分析和解决方法。https://arxiv.org/abs/2111.05803ICLR 最高分文章11 月 12 号ICLR 出分最高分文章 Contrastive Label Disambiguation for Partial Label Learning 引起了大家关注对比学习的方法在部分标签数据上学习比如 n 类标签只使用其中的 m 类数据训练竟能超过全监督学习。https://openreview.net/forum?idEhYjZy6e1gJViT 综述引发原作者感慨来自联想、中科院的团队发表了 A Survey of Visual Transformers。针对 CV 的分类、目标检测、语义分割三个任务回顾了 100 ViT 模型。引发 ViT 作者本人感慨这一年的进展我都没想到呢 :Parxiv.org/abs/2111.06091 https://twitter.com/arankomatsuzaki/status/1463692664814063625女娲通用视觉生成模型MSRA 北大团队发表了文章 NUWA: Visual Synthesis Pre-training for Neural visUal World creAtion。这个工作设计了一个 3D Transformer Encoder-Decoder可以同时处理 3D(video)2D(image)1D(text) 的数据用于视觉生成任务。在文字生成图片任务上超过了 DALL-E。arxiv.org/abs/2111.12417业界新闻OpenAI 取消 GPT-3 的等待名单去年五月发布的 GPT-3 一直需要申请许可才能访问。11月18日OpenAI 终于取消了等待名单机制所有开发者都可以直接邮箱登录使用 API。Deepmind 登上 Nature 封面给数学家提供启发这篇文章探索了机器学习在识别数学结构和模式方面的潜力并帮助数学家找到他们可能从未发现的发现——这是第一次证明人工智能可以在纯数学的前沿提供帮助。这个框架可以快速验证两个量之间的关系是否值得研究。https://www.nature.com/articles/d41586-021-03593-1https://deepmind.com/blog/article/exploring-the-beauty-of-pure-mathematics-in-novel-ways资源工具Sebastian Ruder 最新 QA 教程Sebastian Ruder 在 EMNLP 2021 的最新 tutorial主题是 Multi-Domain Multilingual Question Answering。这可能是第一个包含“特定领域内”和“跨语言” QA 的教程。教程主页https://github.com/sebastianruder/emnlp2021-multiqa-tutorial幻灯片地址https://tinyurl.com/multi-qa-tutorial读论文神器登顶 B 站热搜沈向洋博士带大家读论文在线论文阅读神器 ReadPaper 由沈向洋博士创办的 IDEA 旗下团队研发其收录了近 2 亿篇论文提供了提取图表、在线检索、翻译、做笔记等功能。页面中的论文速读功能中很有可能会出现一位大佬通过十个问题带你速读论文。▲readpaper.comhttps://www.bilibili.com/video/BV1dg411P7De八卦趣事完善的同行评议还有多远视频博主 Yannic Kilcher 分析了 NeurIPS 2021 在 Openreview 上多轮打分结果之间的一致性发现除了最优秀的很小一部分文章其他文章在不同审稿人之间的评价几乎是完全随机的。https://youtu.be/DEh1GR0t29k原创推荐6 年大厂面试官谈谈我对算法岗面试的一些看法正在求职的小伙伴一定要认真学习这篇文章市面上的面经只教人怎样表现这篇文章告诉我们面试到底在考察什么能力面试官是怎么考虑怎么设计面试的。11 个好用的科研工具推荐工作效率提升 max好多给大家节省时间的科研小工具好多痛点能被这篇文章解决调整引用格式、公式表格转成 latex、给模型起名字、定制化 arXiv 阅读工具……吐血整理论文写作中注意这些细节能显著提升成稿质量非常具体又实用的论文写作建议。评论区网友表示“每天看一遍可以大幅减少被导师骂的概率”。Facebook 推出 8 比特优化器两行代码拯救你的显存也不必研究这个优化器是啥原理点开文章复制两行代码——显存立减 75%。咱直接 base 变 large其他啥都不变不香嘛图灵奖大佬 Lecun 发表对比学习新作比 SimCLR 更好用这篇文章为大家分享了 Yann Lecun 等人发表的《Decouple Contrastive Learning》。这篇文章仅仅对 InfoNCE 的表达式进行了一处修改就大大缓解了 InfoNCE 对于大 Batch Size 的需求问题并在不同规模的评测数据集上取得了更好的结果。好啦这个月的总结就到这里如果有漏下的我们评论区见萌屋作者在北大读研目前做信息抽取对低资源、图网络都非常感兴趣。希望大家在卖萌屋玩得开心 ヾ(ω)o作品推荐老板让我用少量样本 finetune 模型我还有救吗急急急在线等谷歌CNN 击败 Transformer有望成为预训练界新霸主LeCun 却沉默了...中文 BERT 上分新技巧多粒度信息来帮忙恕我直言很多小样本学习的工作就是不切实际的你的 GNN可能 99% 的参数都是冗余的后台回复关键词【入群】加入卖萌屋NLP/IR/Rec与求职讨论群后台回复关键词【顶会】获取ACL、CIKM等各大顶会论文集
