新手制作网站,塘厦镇属于东莞哪个区,网页分析工具,一级域名与二级域名玩法文 | 明敏 发自 凹非寺源 | 量子位 | 公众号 QbitAI咦#xff0c;怎么好好的藤原千花#xff0c;突然变成了“高温红色版”#xff1f;这大紫手#xff0c;难道是灭霸在世#xff1f;#xff1f;如果你以为上面的这些效果只是对物体后期上色了#xff0c;那还真是被AI给… 文 | 明敏 发自 凹非寺源 | 量子位 | 公众号 QbitAI咦怎么好好的藤原千花突然变成了“高温红色版”这大紫手难道是灭霸在世如果你以为上面的这些效果只是对物体后期上色了那还真是被AI给骗到了。这些奇怪的颜色其实是对视频对象分割的表示。但u1s1这效果还真是让人一时间分辨不出。无论是萌妹子飞舞的发丝还是发生形状改变的毛巾、物体之间来回遮挡AI对目标的分割都称得上是严丝合缝仿佛是把颜色“焊”了上去。不只是高精度分割目标这种方法还能处理超过10000帧的视频。而且分割效果始终保持在同一水平视频后半段依旧丝滑精细。更意外的是这种方法对GPU要求不高。研究人员表示实验过程中该方法消耗的GPU内存从来没超过1.4GB。要知道当下基于注意力机制的同类方法甚至都不能在普通消费级显卡上处理超过1分钟的视频。这就是伊利诺伊大学厄巴纳-香槟分校学者最新提出的一种长视频目标分割方法XMem。目前已被ECCV 2022接收代码也已开源。如此丝滑的效果还在Reddit上吸引不少网友围观热度达到800。网友都在打趣说为什么要把你的手涂成紫色谁知道灭霸是不是有计算机视觉方面的爱好呢模仿人类记忆法目前已有的视频对象分割方法非常多但是它们要么处理速度比较慢要么对GPU要求高要么精度不够高。而本文提出的方法可以说是兼顾了以上三方面。不仅能对长视频快速进行对象分割画面帧数可达到20FPS同时在普通GPU上就能完成。其特别之处在于它受人类记忆模式所启发。1968年心理学家阿特金森和希夫林提出多重存储模型Atkinson-Shiffrin memory model。该模型认为人类记忆可以分为3种模式瞬时记忆、短期记忆和长期记忆。参考如上模式研究人员将AI框架也划分出3种内存方式。分别是及时更新的瞬时内存高分辨率工作内存密集长期记忆内存。其中瞬时内存会每帧更新一次来记录画面中的图像信息。工作内存从瞬时内存中收集画面信息更新频率为每r帧一次。当工作内存饱和时它会被压缩转移到长期内存里。而长期内存也饱和时会随着时间推移忘记过时的特征一般来说这会在处理过数千帧后才会饱和。这样一来GPU内存也就不会因为时间推移而不足了。通常对视频目标进行分割会给定第一帧的图像和目标对象掩码然后模型会跟踪相关目标为后续帧生成相应的掩码。具体来看XMem处理单帧画面的过程如下整个AI框架由3个端到端卷积网络组成。一个查询编码器Query encoder用来追踪提取查询特定图像特征。一个解码器Decoder负责获取内存读取步骤的输出以生成对象掩码。一个值编码器Value encoder可以将图像和目标的掩码相结合从而来提取新的内存特征值。最终值编码器提取到的特征值会添加到工作内存中。从实验结果来看该方法在短视频和长视频上都实现了SOTA。在处理长视频时随着帧数的增加XMem的性能也没有下降。研究团队作者之一为华人Ho Kei (Rex) Cheng。他研究生毕业于香港科技大学目前在伊利诺伊大学厄巴纳-香槟分校读博。研究方向为计算机视觉。他先后有多篇论文被CVPR、NeurIPS、ECCV等顶会接收。另一位作者是 Alexander G. Schwing。他现在是伊利诺伊大学厄巴纳-香槟分校的助理教授博士毕业于苏黎世联邦理工学院。研究方向为机器学习和计算机视觉。论文地址https://arxiv.org/abs/2207.07115GitHubhttps://github.com/hkchengrex/XMem后台回复关键词【入群】加入卖萌屋NLP、CV、搜推广与求职讨论群
