帮企业做网站赚钱,交换友情链接的方法,手机网站开发基础,重庆南岸营销型网站建设公司推荐1 简介
TensorRT是一个高性能的深度学习推理#xff08;Inference#xff09;优化器#xff0c;可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT可用于对超大规模数据中心、嵌入式平台或自动驾驶平台进行推理加速。TensorRT现已能支持TensorFlow、Caffe、Mxne…1 简介
TensorRT是一个高性能的深度学习推理Inference优化器可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT可用于对超大规模数据中心、嵌入式平台或自动驾驶平台进行推理加速。TensorRT现已能支持TensorFlow、Caffe、Mxnet、Pytorch等几乎所有的深度学习框架将TensorRT和NVIDIA的GPU结合起来能在几乎所有的框架中进行快速和高效的部署推理。
TensorRT 是一个C库从 TensorRT 3 开始提供C API和Python API主要用来针对 NVIDIA GPU进行 高性能推理Inference加速。现在最新版TensorRT是4.0版本。
TensorRT 之前称为GIE。
关于推理Inference 由以上两张图可以很清楚的看出训练training和 推理inference的区别
训练training包含了前向传播和后向传播两个阶段针对的是训练集。训练时通过误差反向传播来不断修改网络权值weights。推理inference只包含前向传播一个阶段针对的是除了训练集之外的新数据。可以是测试集但不完全是更多的是整个数据集之外的数据。其实就是针对新数据进行预测预测时速度是一个很重要的因素。
一般的深度学习项目训练时为了加快速度会使用多GPU分布式训练。但在部署推理时为了降低成本往往使用单个GPU机器甚至嵌入式平台比如 NVIDIA Jetson进行部署部署端也要有与训练时相同的深度学习环境如caffeTensorFlow等。
由于训练的网络模型可能会很大比如 inceptionresnet等参数很多而且部署端的机器性能存在差异就会导致推理速度慢延迟高。这对于那些高实时性的应用场合是致命的比如自动驾驶要求实时目标检测目标追踪等。
所以为了提高部署推理的速度出现了很多轻量级神经网络比如squeezenetmobilenetshufflenet等。基本做法都是基于现有的经典模型提出一种新的模型结构然后用这些改造过的模型重新训练再重新部署。
而 tensorRT 则是对训练好的模型进行优化。 tensorRT 就只是推理优化器。当你的网络训练完之后可以将训练模型文件直接丢进tensorRT中而不再需要依赖深度学习框架CaffeTensorFlow等如下 可以认为tensorRT是一个只有前向传播的深度学习框架这个框架可以将 CaffeTensorFlow的网络模型解析然后与tensorRT中对应的层进行一一映射把其他框架的模型统一全部转换到tensorRT中然后在tensorRT中可以针对NVIDIA自家GPU实施优化策略并进行部署加速。
目前TensorRT4.0 几乎可以支持所有常用的深度学习框架对于caffe和TensorFlow来说tensorRT可以直接解析他们的网络模型对于caffe2pytorchmxnetchainerCNTK等框架则是首先要将模型转为 ONNX 的通用深度学习模型然后对ONNX模型做解析。而tensorflow和MATLAB已经将TensorRT集成到框架中去了。
ONNXOpen Neural Network Exchange 是微软和Facebook携手开发的开放式神经网络交换工具也就是说不管用什么框架训练只要转换为ONNX模型就可以放在其他框架上面去inference。这是一种统一的神经网络模型定义和保存方式上面提到的除了tensorflow之外的其他框架官方应该都对onnx做了支持而ONNX自己开发了对tensorflow的支持。从深度学习框架方面来说这是各大厂商对抗谷歌tensorflow垄断地位的一种有效方式从研究人员和开发者方面来说这可以使开发者轻易地在不同机器学习工具之间进行转换并为项目选择最好的组合方式加快从研究到生产的速度。
上面图中还有一个 Netwok Definition API 这个是为了给那些使用自定义的深度学习框架训练模型的人提供的TensorRT接口。举个栗子比如 YOLO 作者使用的darknet要转tensorrt估计得使用这个API不过一般网上有很多使用其他框架训练的YOLO这就可以使用对应的caffe/tensorflow/onnx API了。
ONNX / TensorFlow / Custom deep-learning frame模型的工作方式 现在tensorRT支持的层有
Activation: ReLU, tanh and sigmoidConcatenation : Link together multiple tensors across the channel dimension.Convolution: 3D2DDeconvolutionFully-connected: with or without biasElementWise: sum, product or max of two tensorsPooling: max and averagePaddingFlattenLRN: cross-channel onlySoftMax: cross-channel onlyRNN: RNN, GRU, and LSTMScale: Affine transformation and/or exponentiation by constant valuesShuffle: Reshuffling of tensors , reshape or transpose dataSqueeze: Removes dimensions of size 1 from the shape of a tensorUnary: Supported operations are exp, log, sqrt, recip, abs and negPlugin: integrate custom layer implementations that TensorRT does not natively support.
基本上比较经典的层比如卷积反卷积全连接RNNsoftmax等在tensorRT中都是有对应的实现方式的tensorRT是可以直接解析的。
但是由于现在深度学习技术发展日新月异各种不同结构的自定义层比如STN层出不穷所以tensorRT是不可能全部支持当前存在的所有层的。那对于这些自定义的层该怎么办
tensorRT中有一个 Plugin 层这个层提供了 API 可以由用户自己定义tensorRT不支持的层。 如下图 这就解决了适应不同用户的自定义层的需求。
2 优化方式
TentsorRT 优化方式 TensorRT优化方法主要有以下几种方式最主要的是前面两种。 层间融合或张量融合Layer Tensor Fusion 如下图左侧是GoogLeNetInception模块的计算图。这个结构中有很多层在部署模型推理时这每一层的运算操作都是由GPU完成的但实际上是GPU通过启动不同的CUDACompute unified device architecture核心来完成计算的CUDA核心计算张量的速度是很快的但是往往大量的时间是浪费在CUDA核心的启动和对每一层输入/输出张量的读写操作上面这造成了内存带宽的瓶颈和GPU资源的浪费。TensorRT通过对层间的横向或纵向合并合并后的结构称为CBR意指 convolution, bias, and ReLU layers are fused to form a single layer使得层的数量大大减少。横向合并可以把卷积、偏置和激活层合并成一个CBR结构只占用一个CUDA核心。纵向合并可以把结构相同但是权值不同的层合并成一个更宽的层也只占用一个CUDA核心。合并之后的计算图图4右侧的层次更少了占用的CUDA核心数也少了因此整个模型结构会更小更快更高效。 数据精度校准Weight Activation Precision Calibration 大部分深度学习框架在训练神经网络时网络中的张量Tensor都是32位浮点数的精度Full 32-bit precisionFP32一旦网络训练完成在部署推理的过程中由于不需要反向传播完全可以适当降低数据精度比如降为FP16或INT8的精度。更低的数据精度将会使得内存占用和延迟更低模型体积更小。 如下表为不同精度的动态范围
PrecisionDynamic RangeFP32−3.4×1038 3.4×1038−3.4×1038 3.4×1038FP16−65504 65504−65504 65504INT8−128 127−128 127
INT8只有256个不同的数值使用INT8来表示 FP32精度的数值肯定会丢失信息造成性能下降。不过TensorRT会提供完全自动化的校准Calibration 过程会以最好的匹配性能将FP32精度的数据降低为INT8精度最小化性能损失。关于校准过程后面会专门做一个探究。 Kernel Auto-Tuning 网络模型在推理计算时是调用GPU的CUDA核进行计算的。TensorRT可以针对不同的算法不同的网络模型不同的GPU平台进行 CUDA核的调整怎么调整的还不清楚以保证当前模型在特定平台上以最优性能计算。 TensorRT will pick the implementation from a library of kernels that delivers the best performance for the target GPU, input data size, filter size, tensor layout, batch size and other parameters. Dynamic Tensor Memory 在每个tensor的使用期间TensorRT会为其指定显存避免显存重复申请减少内存占用和提高重复使用效率。 Multi-Stream Execution Scalable design to process multiple input streams in parallel这个应该就是GPU底层的优化了。
3 安装
这里 是英伟达提供的安装指导如果有仔细认真看官方指导基本上按照官方的指导肯定能安装成功。
问题是肯定有很多人不愿意认真看英文指导比如说我就是我看那个指导都是直接找到命令行所在直接敲命令然后就出了很多问题然后搜索好长时间最后才发现原来官方install guide里是有说明的。
这里使用的是 deb 包安装的方式以下是安装过程我是cuda 8.0 cuda9.0也是类似的。
进行下面三步时最好先将后面记录的遇到的问题仔细看看然后回过头来按照 一二三 步来安装。
第一步
$ sudo dpkg -i nv-tensorrt-repo-ubuntu1604-ga-cuda8.0-trt3.0-20171128_1-1_amd64.deb$ sudo apt-get update
$ sudo apt-get install tensorrt其中的deb包要换成与自己 cuda和系统 对应的版本。
第二步
使用python2则安装如下依赖
$ sudo apt-get install python-libnvinfer-doc这个是为了安装一些依赖的比如 python-libnvinfer python-libnvinfer-dev swig3.0
如果是python3则安装如下依赖
$ sudo apt-get install python3-libnvinfer-doc第三步
$ sudo apt-get install uff-converter-tf这个是安装通用文件格式转换器主要用在 TensorRT 与TensorFlow 交互使用的时候。
不过我安装的时候还是出问题了 安装tensorRT之前要将cuda的两个deb包添加上因为TensorRT依赖好多cuda的一些东西比如 cuda-cublas-8-0 我之前cuda是用runfile安装的所以TensorRT安装时有些依赖库找不到导致出错如下图 上面提示缺少依赖包但是实际上 libnvinfer4 的包是tensorRT安装了之后才有的那现在反而成了依赖包了不管他缺什么安装什么但是还是出错如下
哇还是缺少依赖包这次是缺 cuda-cublas-8-0 现在知道了缺的是cuda的相关组件。
后来把 cuda 的两个deb包安装之后就没问题了cuda 8.0 的deb包 在这里 如下图下载红框里的两个deb包。 如果用的是 runfile 的方式安装的cuda的话很容易出错因为网上大部分cuda安装教程都是用runfile的方式安装的。所以如果cuda就是用deb包安装的话就没有这个问题如果使用runfile安装的话安装tensorRT之前要把这两个deb包安装上安装方式如下
$ sudo dpkg -i cuda-repo-ubuntu1604-8-0-local-cublas-performance-update_8.0.61-1_amd64.deb
$ sudo dpkg -i cuda-repo-ubuntu1604-8-0-local-ga2_8.0.61-1_amd64.deb以上是自己摸索出来的折腾了一番之后才发现原来官方的 install guide已经说明了如下 The debian installation automatically installs any dependencies, but: requires sudo root privileges to installprovides no flexibility as to which location TensorRT is installed intorequires that the CUDA Toolkit has also been installed with a debian package. 注意最后一条意思是如果用deb包安装TensorRT那么前提是 你的CUDA也是用deb包安装的。
怪自己没有认真看要是多花个5分钟仔细看一下就不用折腾这么久了由此深有感触文档还是官方英文原版的最好而且要认真看。
不过不知道用 runfile cudaTar File Installation tensorRT的组合安装方式是怎么样的没试过。 tensorRT 3 支持CUDA 8 和 CUDA 9但是只支持 cuDNN 7我第一次安装的时候cuDNN是5.1的结果总是出错错误是啥忘记了反正换成cuDNN 7就好了这个官方指导也有说明不过比较隐蔽他是放在 4.2 Tar File Installation 一节说明的 Install the following dependencies, if not already present: ‣ Install the CUDA Toolkit v8.0, 9.0 or 9.2 ‣ cuDNN 7.1.3 ‣ Python 2 or Python 3 我试过只要大版本是 cudnn7就可以。这个也容易忽略。
安装好后使用 $ dpkg -l | grep TensorRT 命令检测是否成功输出如下所示即为成功 安装后会在 /usr/src 目录下生成一个 tensorrt 文件夹里面包含 bin , data , python , samples 四个文件夹 samples 文件夹中是官方例程的源码 data , python 文件中存放官方例程用到的资源文件比如caffemodel文件TensorFlow模型文件一些图片等bin 文件夹用于存放编译后的二进制文件。
可以把 tensorrt 文件夹拷贝到用户目录下方便自己修改测试例程中的代码。
进入 samples 文件夹直接 make会在 bin 目录中生成可执行文件可以一一进行测试学习。
另外tensorRT是不开源的 它的头文件位于 /usr/include/x86_64-linux-gnu 目录下共有七个分别为
/usr/include/x86_64-linux-gnu/NvCaffeParser.h
/usr/include/x86_64-linux-gnu/NvInfer.h
/usr/include/x86_64-linux-gnu/NvInferPlugin.h
/usr/include/x86_64-linux-gnu/NvOnnxConfig.h
/usr/include/x86_64-linux-gnu/NvOnnxParser.h
/usr/include/x86_64-linux-gnu/NvUffParser.h
/usr/include/x86_64-linux-gnu/NvUtils.hTensorRT4.0相比于3.0新增了对ONNX的支持。
tensorRT的库文件位于 /usr/lib/x86_64-linux-gnu 目录下如下(筛选出来的掺杂了一些其他nvidia库)
/usr/lib/x86_64-linux-gnu/libnvinfer.so
/usr/lib/x86_64-linux-gnu/libnvToolsExt.so
/usr/lib/x86_64-linux-gnu/libnvinfer_plugin.a
/usr/lib/x86_64-linux-gnu/libnvinfer_plugin.so.4
/usr/lib/x86_64-linux-gnu/libnvcaffe_parser.so
/usr/lib/x86_64-linux-gnu/libnvparsers.so.4.1.2
/usr/lib/x86_64-linux-gnu/stubs/libnvrtc.so
/usr/lib/x86_64-linux-gnu/libnvcaffe_parser.a
/usr/lib/x86_64-linux-gnu/libnvidia-opencl.so.1
/usr/lib/x86_64-linux-gnu/libnvvm.so
/usr/lib/x86_64-linux-gnu/libnvinfer.a
/usr/lib/x86_64-linux-gnu/libnvvm.so.3
/usr/lib/x86_64-linux-gnu/libnvToolsExt.so.1
/usr/lib/x86_64-linux-gnu/libnvrtc.so.7.5
/usr/lib/x86_64-linux-gnu/libnvparsers.a
/usr/lib/x86_64-linux-gnu/libnvblas.so.7.5
/usr/lib/x86_64-linux-gnu/libnvToolsExt.so.1.0.0
/usr/lib/x86_64-linux-gnu/libnvcaffe_parser.so.4.1.2
/usr/lib/x86_64-linux-gnu/libnvinfer_plugin.so
/usr/lib/x86_64-linux-gnu/libnvrtc-builtins.so
/usr/lib/x86_64-linux-gnu/libnvparsers.so
/usr/lib/x86_64-linux-gnu/libnvrtc-builtins.so.7.5.18
/usr/lib/x86_64-linux-gnu/libnvblas.so.7.5.18
/usr/lib/x86_64-linux-gnu/libnvvm.so.3.0.0
/usr/lib/x86_64-linux-gnu/libnvrtc.so
/usr/lib/x86_64-linux-gnu/libnvrtc-builtins.so.7.5
/usr/lib/x86_64-linux-gnu/libnvinfer.so.4.1.2
/usr/lib/x86_64-linux-gnu/libnvidia-opencl.so.390.30
/usr/lib/x86_64-linux-gnu/libnvrtc.so.7.5.17
/usr/lib/x86_64-linux-gnu/libnvblas.so
/usr/lib/x86_64-linux-gnu/libnvinfer.so.4
/usr/lib/x86_64-linux-gnu/libnvparsers.so.4
/usr/lib/x86_64-linux-gnu/libnvinfer_plugin.so.4.1.2
/usr/lib/x86_64-linux-gnu/libnvcaffe_parser.so.4编译
将 /usr/src/tensorrt 文件夹拷贝到用户目录下假设路径为 tensorrt_srcpath 。
第一个问题
在 tensorrt_srcpath/tensorrt/samples 文件夹中有个 Makefile.config 文件里面第4行
CUDA_VER?cuda-$(shell dpkg-query -f $${version}\n -W cuda-cudart-[0-9]* | cut -d . -f 1,2 | sort -n | tail -n 1)这一句是为了获取cuda版本的我的机器是 CUDA 8.0 。我记得我第一次安装时后面dpkg命令 输出的不是8.0是一个很奇怪的数字导致我不能编译 tensorRT 例程。 后来我直接在这句后面添加了一句 CUDA_VERcuda-8.0 简单粗暴解决问题了。
这个问题好像是还是因为我之前安装 cuda 时是用 runfile 的方式安装的用这种方式安装的cuda不会安装cuda的deb包所以上面语句输出的是不对的导致找不到cuda库目录编译不能进行。
可以使用命令sudo dpkg -i cuda-repo-ubuntu1604-8-0-local-ga2_8.0.61-1_amd64.deb 安装deb包就可以了。或者像我那样添加 CUDA_VERcuda-8.0 也可以。
如果安装cuda就是使用deb包安装的话就不会出现这个问题。
第二个问题
如果机器上安装了多个cuda版本像我这个机器上 cuda8.09.09.1都装上了上面语句得到的就只是 CUDA_VER9.1如果安装的是其他版本cuda的TensorRT的话肯定是不对的。
可以直接在第4行下面添加
CUDA_INSTALL_DIR/usr/local/cuda-9.03 TensorRT 使用流程
这是个很简单的流程先简单了解一下以后会深入研究更高级的用法。
在使用tensorRT的过程中需要提供以下文件以caffe为例
A network architecture file (deploy.prototxt), 模型文件Trained weights (net.caffemodel), 权值文件A label file to provide a name for each output class. 标签文件
前两个是为了解析模型时使用最后一个是推理输出时将数字映射为有意义的文字标签。
tensorRT的使用包括两个阶段 build and deployment
buildImport and optimize trained models to generate inference engines build阶段主要完成模型转换从caffe或TensorFlow到TensorRT在模型转换时会完成前述优化过程中的层间融合精度校准。这一步的输出是一个针对特定GPU平台和网络模型的优化过的TensorRT模型这个TensorRT模型可以序列化存储到磁盘或内存中。存储到磁盘中的文件称之为 plan file。
下面代码是一个简单的build过程
//创建一个builder
IBuilder* builder createInferBuilder(gLogger);// parse the caffe model to populate the network, then set the outputs
// 创建一个network对象不过这时network对象只是一个空架子
INetworkDefinition* network builder-createNetwork();//tensorRT提供一个高级别的APICaffeParser用于解析Caffe模型
//parser.parse函数接受的参数就是上面提到的文件和network对象
//这一步之后network对象里面的参数才被填充才具有实际的意义
CaffeParser parser;
auto blob_name_to_tensor parser.parse(“deploy.prototxt”,
trained_file.c_str(),
*network,
DataType::kFLOAT);// 标记输出 tensors
// specify which tensors are outputs
network-markOutput(*blob_name_to_tensor-find(prob));// Build the engine
// 设置batchsize和工作空间然后创建inference engine
builder-setMaxBatchSize(1);
builder-setMaxWorkspaceSize(1 30);
//调用buildCudaEngine时才会进行前述的层间融合或精度校准优化方式
ICudaEngine* engine builder-buildCudaEngine(*network);上面的过程使用了一个高级别的APICaffeParser直接读取 caffe的模型文件就可以解析也就是填充network对象。解析的过程也可以直接使用一些低级别的CAPI比如
ITensor* in network-addInput(“input”, DataType::kFloat, Dims3{…});
IPoolingLayer* pool network-addPooling(in, PoolingType::kMAX, …);解析caffe模型之后必须要指定输出tensor设置batchsize和设置工作空间。设置batchsize就跟使用caffe测试是一样的设置工作空间是进行前述层间融合和张量融合的必要措施。层间融合和张量融合的过程是在调用builder-buildCudaEngine时才进行的。
deployGenerate runtime inference engine for inference deploy阶段主要完成推理过程Kernel Auto-Tuning 和 Dynamic Tensor Memory 应该是在这里完成的。将上面一个步骤中的plan文件首先反序列化并创建一个 runtime engine然后就可以输入数据比如测试集或数据集之外的图片然后输出分类向量结果或检测结果。
tensorRT的好处就是不需要安装其他深度学习框架就可以实现部署和推理。
以下是一个简单的deploy代码这里面没有包含反序列化过程和测试时的batch流获取
// The execution context is responsible for launching the
// compute kernels 创建上下文环境 context用于启动kernel
IExecutionContext *context engine-createExecutionContext();// In order to bind the buffers, we need to know the names of the
// input and output tensors. //获取输入输出tensor索引
int inputIndex engine-getBindingIndex(INPUT_LAYER_NAME),
int outputIndex engine-getBindingIndex(OUTPUT_LAYER_NAME);//申请GPU显存
// Allocate GPU memory for Input / Output data
void* buffers malloc(engine-getNbBindings() * sizeof(void*));
cudaMalloc(buffers[inputIndex], batchSize * size_of_single_input);
cudaMalloc(buffers[outputIndex], batchSize * size_of_single_output);//使用cuda 流来管理并行计算
// Use CUDA streams to manage the concurrency of copying and executing
cudaStream_t stream;
cudaStreamCreate(stream);//从内存到显存input是读入内存中的数据buffers[inputIndex]是显存上的存储区域用于存放输入数据
// Copy Input Data to the GPU
cudaMemcpyAsync(buffers[inputIndex], input,
batchSize * size_of_single_input,
cudaMemcpyHostToDevice, stream);//启动cuda核计算
// Launch an instance of the GIE compute kernel
context.enqueue(batchSize, buffers, stream, nullptr);//从显存到内存buffers[outputIndex]是显存中的存储区存放模型输出output是内存中的数据
// Copy Output Data to the Host
cudaMemcpyAsync(output, buffers[outputIndex],
batchSize * size_of_single_output,
cudaMemcpyDeviceToHost, stream));//如果使用了多个cuda流需要同步
// It is possible to have multiple instances of the code above
// in flight on the GPU in different streams.
// The host can then sync on a given stream and use the results
cudaStreamSynchronize(stream);可见使用了挺多的CUDA 编程所以要想用好tensorRT还是要熟练 GPU编程。
4 Performance Results
来看一看使用以上优化方式之后能获得怎样的加速效果 可见使用tensorRT与使用CPU相比获得了40倍的加速与使用TensorFlow在GPU上推理相比获得了18倍的加速。效果还是很明显的。
以下两图是使用了INT8低精度模式进行推理的结果展示包括精度和速度。
来自GTC 2017Szymon Migacz 的PPT 可见精度损失很少速度提高很多。
上面还是17年 TensorRT2.1的性能这里 是一个最新的TensorRT4.0.1的性能表现有很详细的数据展示来说明TensorRT在inference时的强劲性能。
后面的博客中会进一步学习 tensorRT包括官方例程和做一些实用的优化。
参考资料
What’s the Difference Between Deep Learning Training and Inference?Discover the Difference Between Deep Learning Training and InferenceGTC 2017Szymon Migacz 的PPTNVIDIA TensorRT | NVIDIA DeveloperDeploying Deep Neural Networks with NVIDIA TensorRTTensorRT 3: Faster TensorFlow Inference and Volta SupporttensorRT installation guidecuda installation guideNVIDIA TensorRT Performance GuideTensorRT 4 Accelerates Neural Machine Translation, Recommenders, and SpeechONNX
