东莞微联建站,施工企业资质等级标准,WordPress实现在线考试,能下载各种应用的软件一、深度学习的发展及其应用
1.1 深度学习的发展历程
1956年#xff0c;John McCarthy#xff08;约翰麦卡锡#xff09;等人在美国达特茅斯学院#xff08;Dartmounth College#xff09;开会探讨如何使用机器模拟人的智能时#xff0c;提出了“人工智能”这一概念。 …一、深度学习的发展及其应用
1.1 深度学习的发展历程
1956年John McCarthy约翰·麦卡锡等人在美国达特茅斯学院Dartmounth College开会探讨如何使用机器模拟人的智能时提出了“人工智能”这一概念。
这标志着人工智能学科的诞生这一年也称为人工智能元年。
作为人工智能最重要的一个分支深度学习近年来发展迅速在国内外都引起了广泛的关注。 1.2 深度学习的起源阶段
1943年心理学家Warren Mcculloch和数理逻辑学家Walter Pitts在合作的论文中提出并给出了人工神经网络的概念及人工神神经元的数学模型从而开创了人类神经网络研究的时代。
1956年心理学家Frank Rosenblatt受到这种思想的启发认为这个简单想法足以创造一个可以学习识别物体的机器并设计了算法和硬件。直到1957年Frank Rosenblatt在《New York Times》上发表文章《Electronic ‘Brain’ Teaches Itself》首次提出了可以模型人类感知能力的机器并称之为感知机Perceptron 感知机是有单层计算单元的神经网络由线性元件及阈值元件组成。感知机的逻辑图如图 1969年美国数学家及人工智能先驱Marvin Minsky马文·明斯基在其著作中证明感知器本质上是一种线性模型只能处理线性分类的问题这使得神经网络的研究陷入近20年的停滞。
1.3 深度学习的发展阶段
沉寂了多年后关于神经网络的研究开始慢慢复苏。
1986年Geoffrey Hinton杰弗里·辛顿提出一种适用于多层感知器的反向传播算法———BP算法。
BP算法全称叫作误差反向传播(error Back Propagation或者也叫作误差逆传播)算法。
其算法基本思想为在前馈网络中输入信号经输入层输入通过隐层计算由输出层输出输出值与标记值比较若有误差将误差反向由输出层向输入层传播在这个过程中利用梯度下降算法对神经元权值进行调整。
BP算法完美解决了非线性分类的问题人人工神经网络再次引起人们广泛关注。
1989年Robert Hecht-Nielsen罗伯特·赫克特-尼尔森证明了多层感知器的万能逼近原理。
此博文中介绍的论文是 1990 年 Le Page 组织的一个会议的 Invited paper. 一维阶梯函数的线性组合能逼近任何连续一维连续函数。 Sigmoidal 函数可以逼近阶梯函数。因此,一维Sigmoidal函数的线性组合能逼近任何连续函数。 把坐标轴在R^{n}中沿各个方向旋转 如同CT原理在每一射线上构造Sigmoidal函数的线性组合就可以逼近R^{n}中任何连续函数。 优点用一个简单到不能再简单的函数的线性组合和叠合可以逼近任何连续函数。 缺点天下没有免费的午餐。 为了R^{n} 中函数达到精度1/N。需要识别 O(n^{N}) 个参数。这是无法承受的。 无论用阶梯函数还是Sigmoidal 函数关键是利用其跳跃部分。因此在用梯度法时经常会发生导数不可控。 上述两个致命缺点长期阻碍了神经网络的发展和应用。深度学习就是围绕着这些问题来做的。通俗的讲是实现神经网络逼近能力的技术
由于20世纪80年代计算机的硬件水平有限运算能力跟不上导致神经网络规模增大时使用BP算法出现了“梯度消失”问题这导致BP算法的发展受到了限制人工神经网络的发展再次进入到瓶颈期。
1.4 深度学习的爆发阶段
2006年是深度学习元年。这一年Geoffey Hinton杰弗里·辛顿提出了深度学习的概念并提出了深层网络训练中梯度消失问题的解决方案———通过无监督预训练对权值进行初始化再加上有监督训练微调。
1、无监督预训练是用来训练的数据不包含输出目标需要学习算法自动学习到一些有价值的信息。
2、有监督训练又称监督学习是一个机器学习中的方法可以由训练资料中学到或建立一个模式函数 / learning model并依此模式推测新的实例。训练资料是由输入物件通常是向量和预期输出所组成。函数的输出可以是一个连续的值称为回归分析或是预测一个分类标签称作分类。
2012年Geoffey Hinton 课题组为了证明深度学习的潜力首次参加ImageNet图像识别比赛其构建的卷积神经网络模型AlexNet一举夺冠且再分类准确率和分类速度上碾压第二名SVM支持向量机模型。
2014年Facebook公司基于深度学习技术的DeepFace项目在人脸识别方面的准确率已经达到97%以上跟人眼识别的准确率几乎没有差别再一次证明了深度学习算法在图像识别方面的领先性。
2016年Google公司基于深度学习开发的AlphaGo以41的比分战胜了国际顶尖围棋高手李世石使得深度学习在世界范围内再次掀起狂潮。 又一年2017年世界第一的中国棋手柯洁九段与AlphaGo进行对抗 1.5深度学习的应用领域
1、计算机视觉
1、什么是计算机视觉(Computer vision)? 计算机视觉(Computer Vision)人靠视觉来做饭、越过障碍等等Computer Vision就是让计算机有视觉目的是让计算机看懂图像(image)和视频(video)手机或相机固然可以拍出很精细和细节的照片比人看的远清除但是李飞飞教授说过“
hear is the not the same as to listen, To take pictures is not the same as to see”,所以计算机视觉目的是看懂。 看-------看是很简单的计算机比人更会看image video 懂-----我认为懂是让计算机能够在image和video中根据人的命令来做相应的动作。就像人看懂一样首先人要看到东西image or video然后大脑根据东西做出相关动作。由于计算机不能够像人一样global地分析image or video所以我们要做image process 为存储、除数和表示而对image data进行处理以便计算机自动理解。自动理解后我们向其发送指令它便可以和人一样。
2、自然语言处理 自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此这一领域的研究将涉及自然语言即人们日常使用的语言所以它与语言学的研究有着密切的联系但又有重要的区别。自然语言处理并不是一般地研究自然语言而在于研制能有效地实现自然语言通信的计算机系统特别是其中的软件系统。因而它是计算机科学的一部分
1.6深度学习框架简介
1、TensorFlow
TensorFlow是一个开放源代码软件库用于进行高性能数值计算。借助其灵活的架构用户可以轻松地将计算工作部署到多种平台CPU、GPU、TPU和设备桌面设备、服务器集群、移动设备、边缘设备等。
ensorFlow 是一个用于研究和生产的开放源代码机器学习库。TensorFlow 提供了各种 API可供初学者和专家在桌面、移动、网络和云端环境下进行开发。
TensorFlow是采用数据流图data flow graphs来计算,所以首先我们得创建一个数据流流图,然后再将我们的数据数据以张量(tensor)的形式存在放在数据流图中计算. 节点Nodes在图中表示数学操作,图中的边edges则表示在节点间相互联系的多维数据数组, 即张量tensor)。训练模型时tensor会不断的从数据流图中的一个节点flow到另一节点, 这就是TensorFlow名字的由来。 张量Tensor):张量有多种. 零阶张量为 纯量或标量 (scalar) 也就是一个数值. 比如 [1],一阶张量为 向量 (vector), 比如 一维的 [1, 2, 3],二阶张量为 矩阵 (matrix), 比如 二维的 [[1, 2, 3],[4, 5, 6],[7, 8, 9]],以此类推, 还有 三阶 三维的 … 张量从流图的一端流动到另一端的计算过程。它生动形象地描述了复杂数据结构在人工神经网中的流动、传输、分析和处理模式。
在机器学习中数值通常由4种类型构成 1标量scalar即一个数值它是计算的最小单元如“1”或“3.2”等。 2向量vector由一些标量构成的一维数组如[1, 3.2, 4.6]等。 3矩阵matrix是由标量构成的二维数组。 4张量tensor由多维通常数组构成的数据集合可理解为高维矩阵。使用TensorFlow的优点主要表现在如下几个方面
1TensorFlow有一个非常直观的构架顾名思义它有一个“张量流”。用户可以很容易地看到张量流动的每一个部分借助TensorBoard在后面的章节会有所提及。
2TensorFlow可轻松地在CPU/GPU上部署进行分布式计算。
3TensorFlow跨平台性高灵活性强。TensorFlow不但可以在Linux、Mac和Windows系统下运行甚至还可以在移动终端下工作。
当然TensorFlow也有不足之处主要表现在它的代码比较底层需要用户编写大量的代码而且很多相似的功能用户还不得不“重造轮子”。但“瑕不掩瑜”TensorFlow还是以雄厚技术积淀、稳定的性能一骑红尘“笑傲”于众多深度学习框架之巅。
2、Caffe
Caffe是一个深度学习框架Caffe在BSD许可下开源使用C编写带有Python接口。是贾扬清在加州大学伯克利分校攻读博士期间创建了Caffe项目。项目托管于GitHub拥有众多贡献者。Caffe应用于学术研究项目、初创原型甚至视觉、语音和多媒体领域的大规模工业应用。雅虎还将Caffe与Apache Spark集成在一起创建了一个分布式深度学习框架CaffeOnSpark。2017年4月Facebook发布Caffe2加入了递归神经网络等新功能。2018年3月底Caffe2并入PyTorch。
特点
Caffe 完全开源并且在有多个活跃社区沟通解答问题同时提供了一个用于训练、测试等完整工具包可以帮助使用者快速上手。此外 Caffe 还具有以下特点
模块性Caffe 以模块化原则设计实现了对新的数据格式网络层和损失函数轻松扩展。
表示和实现分离Caffe 已经用谷歌的 Protocl Buffer定义模型文件。使用特殊的文本文件 prototxt 表示网络结构以有向非循环图形式的网络构建。
Python和MATLAB结合 Caffe 提供了 Python 和 MATLAB 接口供使用者选择熟悉的语言调用部署算法应用。
GPU 加速利用了 MKL、Open BLAS、cu BLAS 等计算库利用GPU实现计算加速。
结构
简单来讲Caffe 中的数据结构是以 Blobs-layers-Net 形式存在。其中Blobs 是通过 4 维向量形式numchannelheightwidth存储网络中所有权重激活值以及正向反向的数据。作为 Caffe 的标准数据格式Blob 提供了统一内存接口。Layers 表示的是神经网络中具体层例如卷积层等是 Caffe 模型的本质内容和执行计算的基本单元。layer 层接收底层输入的 Blobs向高层输出 Blobs。在每层会实现前向传播后向传播。Net 是由多个层连接在一起组成的有向无环图。一个网络将最初的 data 数据层加载数据开始到最后的 loss 层组合为整体。
3、PyTorch
PyTorch是一个的Python机器学习开源库基于Torch用于自然语言处理等应用程序。
2017年1月由Facebook人工智能研究院FAIR基于Torch推出了PyTorch。它是一个基于Python的可续计算包提供两个高级功能1、具有强大的GPU加速的张量计算如NumPy。2、包含自动求导系统的深度神经网络。
PyTorch的前身是Torch其底层和Torch框架一样但是使用Python重新写了很多内容不仅更加灵活支持动态图而且提供了Python接口。它是由Torch7团队开发是一个以Python优先的深度学习框架不仅能够实现强大的GPU加速同时还支持动态神经网络。
PyTorch既可以看作加入了GPU支持的numpy同时也可以看成一个拥有自动求导功能的强大的深度神经网络。除了Facebook外它已经被Twitter、CMU和Salesforce等机构采用
优点 PyTorch是相当简洁且高效快速的框架 设计追求最少的封装 设计符合人类思维它让用户尽可能地专注于实现自己的想法 与google的Tensorflow类似FAIR的支持足以确保PyTorch获得持续的开发更新 PyTorch作者亲自维护的论坛 供用户交流和求教问题 入门简单
4、MXNet
MXNet 是亚马逊Amazon选择的深度学习库。它拥有类似于 Theano 和 TensorFlow 的数据流图为多 GPU 配置提供了良好的配置有着类似于 Lasagne 和 Blocks 更高级别的模型构建块并且可以在你可以想象的任何硬件上运行包括手机。对 Python 的支持只是其冰山一角—MXNet 同样提供了对 R、Julia、C、Scala、Matlab和 Javascript 的接口。
增强了sparse.dot运算符的性能。
MXNet自动设置OpenMP以便在未设置NUM_OMP_THREADS时使用所有可用的CPU内核以最大限度地提高CPU利用率。
一元运算符和二元运算符可以避免在小型阵列上使用OpenMP因为使用OpenMP实际上会损害多线程开销。
在CPU上显着提高了broadcast_addbroadcast_mul等的性能 。
使用NCCL 2.1版或更新版本时建议将环境变量NCCL_LAUNCH_MODE设置为PARALLEL。
MXNet可以加速任何数值计算。神经网络中每一层由一个线性函数和一个非线性变换组成。
开发环境搭建链接
https://blog.csdn.net/weixin_45626468/article/details/114692986?spm1001.2014.3001.5501
