做彩票网站代理,济南恢复娱乐场所,下载免费ppt模板,网站投放本文结合笔者在研究生学习、科研期间使用过以及阅读文献了解到的深度学习视觉领域常用的开源数据集#xff0c;进行介绍和汇总。MNIST深度学习领域的“Hello World!”#xff0c;入门必备#xff01;MNIST是一个手写数字数据库#xff0c;它有60000个训练样本集和10000个测… 本文结合笔者在研究生学习、科研期间使用过以及阅读文献了解到的深度学习视觉领域常用的开源数据集进行介绍和汇总。MNIST深度学习领域的“Hello World!”入门必备MNIST是一个手写数字数据库它有60000个训练样本集和10000个测试样本集每个样本图像的宽高为28*28。此数据集是以二进制存储的不能直接以图像格式查看不过很容易找到将其转换成图像格式的工具。最早的深度卷积网络LeNet便是针对此数据集的当前主流深度学习框架几乎无一例外将MNIST数据集的处理作为介绍及入门第一教程其中Tensorflow关于MNIST的教程非常详细。数据集大小~12MB下载地址http://yann.lecun.com/exdb/mnist/index.htmlImagenetMNIST将初学者领进了深度学习领域而Imagenet数据集对深度学习的浪潮起了巨大的推动作用。深度学习领域大牛Hinton在2012年发表的论文《ImageNet Classification with Deep Convolutional Neural Networks》在计算机视觉领域带来了一场“革命”此论文的工作正是基于Imagenet数据集。Imagenet数据集有1400多万幅图片涵盖2万多个类别其中有超过百万的图片有明确的类别标注和图像中物体位置的标注具体信息如下1Total number of non-empty synsets: 218412Total number of images: 14,197,1223Number of images with bounding box annotations: 1,034,9084Number of synsets with SIFT features: 10005Number of images with SIFT features: 1.2 millionImagenet数据集是目前深度学习图像领域应用得非常多的一个领域关于图像分类、定位、检测等研究工作大多基于此数据集展开。Imagenet数据集文档详细有专门的团队维护使用非常方便在计算机视觉领域研究论文中应用非常广几乎成为了目前深度学习图像领域算法性能检验的“标准”数据集。与Imagenet数据集对应的有一个享誉全球的“ImageNet国际计算机视觉挑战赛(ILSVRC)”以往一般是google、MSRA等大公司夺得冠军今年2016ILSVRC2016中国团队包揽全部项目的冠军。Imagenet数据集是一个非常优秀的数据集但是标注难免会有错误几乎每年都会对错误的数据进行修正或是删除建议下载最新数据集并关注数据集更新。数据集大小~1TBILSVRC2016比赛全部数据下载地址http://www.image-net.org/about-statsCOCOCOCO(Common Objects in Context)是一个新的图像识别、分割和图像语义数据集它有如下特点1Object segmentation2Recognition in Context3Multiple objects per image4More than 300,000 images5More than 2 Million instances680 object categories75 captions per image8Keypoints on 100,000 peopleCOCO数据集由微软赞助其对于图像的标注信息不仅有类别、位置信息还有对图像的语义文本描述COCO数据集的开源使得近两三年来图像分割语义理解取得了巨大的进展也几乎成为了图像语义理解算法性能评价的“标准”数据集。Google开源的开源了图说生成模型show and tell就是在此数据集上测试的想玩的可以下下来试试哈。数据集大小~40GB下载地址http://mscoco.org/PASCAL VOCPASCAL VOC挑战赛是视觉对象的分类识别和检测的一个基准测试提供了检测算法和学习性能的标准图像注释数据集和标准的评估系统。PASCAL VOC图片集包括20个目录人类动物鸟、猫、牛、狗、马、羊交通工具飞机、自行车、船、公共汽车、小轿车、摩托车、火车室内瓶子、椅子、餐桌、盆栽植物、沙发、电视。PASCAL VOC挑战赛在2012年后便不再举办但其数据集图像质量好标注完备非常适合用来测试算法性能。数据集大小~2GB下载地址http://host.robots.ox.ac.uk/pascal/VOC/voc2012/index.htmlCIFARCIFAR-10包含10个类别50,000个训练图像彩色图像大小32x3210,000个测试图像。CIFAR-100与CIFAR-10类似包含100个类每类有600张图片其中500张用于训练100张用于测试这100个类分组成20个超类。图像类别均有明确标注。CIFAR对于图像分类算法测试来说是一个非常不错的中小规模数据集。数据集大小~170MB下载地址http://www.cs.toronto.edu/~kriz/cifar.htmlOpen Image过去几年机器学习的发展使得计算机视觉有了快速的进步系统能够自动描述图片对共享的图片创造自然语言回应。其中大部分的进展都可归因于 ImageNet 、COCO这样的数据集的公开使用。谷歌作为一家伟大的公司自然也要做出些表示于是乎就有了Open Image。Open Image是一个包含~900万张图像URL的数据集里面的图片通过标签注释被分为6000多类。该数据集中的标签要比ImageNet1000类包含更真实生活的实体存在它足够让我们从头开始训练深度神经网络。谷歌出品必属精品唯一不足的可能就是它只是提供图片URL使用起来可能不如直接提供图片方便。此数据集笔者也未使用过不过google出的东西质量应该还是有保障的。数据集大小~1.5GB不包括图片下载地址https://github.com/openimages/datasetYoutube-8MYoutube-8M为谷歌开源的视频数据集视频来自youtube共计8百万个视频总时长50万小时4800类。为了保证标签视频数据库的稳定性和质量谷歌只采用浏览量超过1000的公共视频资源。为了让受计算机资源所限的研究者和学生也可以用上这一数据库谷歌对视频进行了预处理并提取了帧级别的特征提取的特征被压缩到可以放到一个硬盘中小于1.5T。此数据集的下载提供下载脚本由于国内网络的特殊原因下载此数据经常断掉不过还好下载脚本有续传功能过一会儿重新连接就能再连上。可以写一个脚本检测到下载中断后就sleep一段时间然后再重新请求下载这样就不用一直守着了。截至发文断断续续的下载笔者表示还没下完呢……数据集大小~1.5TB下载地址https://research.google.com/youtube8m/以上是笔者根据学习科研和文献阅读经历总结的目前深度学习视觉领域研究人员常用数据集。由于个人学识有限难免有疏漏和不当的地方望读者朋友们不吝赐教。如果以上数据集还不能满足你的需求的话不妨从下面找找吧。1.深度学习数据集收集网站http://deeplearning.net/datasets/**收集大量的各深度学习相关的数据集但并不是所有开源的数据集都能在上面找到相关信息。2、Tiny Images Datasethttp://horatio.cs.nyu.edu/mit/tiny/data/index.html包含8000万的32x32图像CIFAR-10和CIFAR-100便是从中挑选的。3、CoPhIRhttp://cophir.isti.cnr.it/whatis.html雅虎发布的超大Flickr数据集包含1亿多张图片。4、MirFlickr1Mhttp://press.liacs.nl/mirflickr/Flickr数据集中挑选出的100万图像集。5、SBU captioned photo datasethttp://dsl1.cewit.stonybrook.edu/~vicente/sbucaptions/Flickr的一个子集包含100万的图像集。6、NUS-WIDEhttp://lms.comp.nus.edu.sg/research/NUS-WIDE.htmFlickr中的27万的图像集。7、Large-Scale Image Annotation using Visual Synset(ICCV 2011)http://cpl.cc.gatech.edu/projects/VisualSynset/机器标注的一个超大规模数据集包含2亿图像。8、SUN datasethttp://people.csail.mit.edu/jxiao/SUN/包含13万的图像的数据集。9、MSRA-MMhttp://research.microsoft.com/en-us/projects/msrammdata/包含100万的图像23000视频微软亚洲研究院出品质量应该有保障。中国是一个“数据大国”中国的数据开放在政府部门以北京、上海等地为首陆续开放了交通、天气等数据集在企业中以新浪微博等为首开放了真实、有效的数据给研究人员提供了极大的便利但就计算机视觉领域来说国内数据集的开放水平和国外相比仍有一定差距。希望国内相关企业和组织能够开放更多优秀的数据集促进相关行业研究进展提升中国在相关研究领域的影响力为推动全人类科学技术的进步贡献自己的一份力量。参考文献[1] http://yann.lecun.com/exdb/mnist/index.html[2] http://www.image-net.org/about-stats[3] http://mscoco.org/[4] http://host.robots.ox.ac.uk/pascal/VOC/voc2012/index.html[5] http://www.cs.toronto.edu/~kriz/cifar.html[6] https://github.com/openimages/dataset[7] https://research.google.com/youtube8m/[8] http://blog.csdn.net/qq_26898461/article/details/50593328 转载于:https://www.cnblogs.com/huty/p/8516961.html
