用织梦做的网站是模板的吗,企业建设网站的规定,长沙企业seo优化,济南营销型网站建设哪家好朋友们#xff0c;AIGC性能优化大赛已经结束了#xff0c;看新闻很多队员已经完成了答辩和领奖环节#xff0c;我根据内幕人了解到#xff0c;比赛的最终代码及结果是不会分享出来的#xff0c;因为办比赛的目的就是吸引最优秀的代码然后给公司节省自己开发的成本#xf…朋友们AIGC性能优化大赛已经结束了看新闻很多队员已经完成了答辩和领奖环节我根据内幕人了解到比赛的最终代码及结果是不会分享出来的因为办比赛的目的就是吸引最优秀的代码然后给公司节省自己开发的成本相当于外包出去了应该是不会公开的。抱着技术共享及开放的精神我今天把以自己复赛排名top10的经验分享出来希望可以给参赛的朋友提供一些有帮助的信息个人账号我是你的狼哥。 首先我把比赛的草稿版本分享出来文本生成AIGC推理性能优化比赛_复赛及初赛第10名经验分享 - 飞桨AI Studio
这个版本省略了很多内容因为最原始的版本里面存在大量的临时文件、测试文件和个人代码这个版本相当于阉割了一部分但是我会先把具体内容给大家介绍下这样理解起来也容易。
1、方法探索
优化模型推理官方已经给了一些基础建议其实最开始大家就可以按照官方去做就有提升这中间我也踩了很多坑同样分享出来。
1调节超参数可行
调节超参数是最快最便捷的一个方法但是要注意方式方法如果你无厘头瞎jb调会出现一会高一会低你要想办法去接近极限这个可以参考用到网格搜索下面是项目中一个简单案例在new/new.ipynb项目中 上面的代码可以自行完善我有一个predict.py 文件你可以挨个for循环然后记录下最佳参数的推理速度固化参数即可原来我记得官方base的成绩不调优大概是460s如果仅通过这一项大概能优化到200s以上但是你想再优化那就非常难了需要别的办法。 2直接调用静态库可行
调节超参数是挺简单的但是他有瓶颈你再优化可就难了这个时候你需要去翻paddlepaddle的源码他推理里面就带有一些优化方法比如 官方的run_infer.py里面如果你在model.generate最后面三行加上这个东西你就会发现速度突然飞起来了大概是能优化100s左右好快啊
不久你又发现一个很奇葩的问题你加了这个use_fastTrue以后虽然快了但是每次第一次推理的时候都需要重新下载、编译这个模块的静态库文件贼慢起码40-50s太耗时了不过你翻官方文件你会发现他只有第一次推理的时候很慢后面就直接调用编译好的那个库文件了会非常快那怎么办呢好办我们直接把编译好的库文件找到直接调用不得了结果证明非常可行速度提高30-50s。 有人问了我如何找这个so库文件其实也很简单你第一次推理让他原来的方式推理推理完成后它会自动生成这个libdecoding_op.so直接用find全局搜就找到了其实这是一个cpp编写的推理算子可见cpp在这方面效率远高于python这里还埋了一个点后面讲。 3动态图转静态图推理不可行
我估计90%的人第一次尝试都会想着把编码阶段的动态图推理转为静态图推理我也这么干了并且忙活了半天发现一个真相速度更慢了没办法试了好几次还是不行这条路放弃了。 下面是转换代码
# Copyright (c) 2022 PaddlePaddle Authors. All Rights Reserved.
#
# Licensed under the Apache License, Version 2.0 (the License);
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an AS IS BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.import argparse
import os
from pprint import pprintimport paddlefrom paddlenlp.ops import FasterUNIMOText
from paddlenlp.transformers import UNIMOLMHeadModel, UNIMOTokenizer
from paddlenlp.utils.log import loggerdef parse_args():parser argparse.ArgumentParser()parser.add_argument(--model_name_or_path,default/home/aistudio/ad_generator/model_final,typestr,helpThe model name to specify the Pegasus to use. ,)parser.add_argument(--export_output_dir, default./inference_model, typestr, helpPath to save inference model of Pegasus. )parser.add_argument(--topk, default80, typeint, helpThe number of candidate to procedure top_k sampling. )parser.add_argument(--topp, default0.8, typefloat, helpThe probability threshold to procedure top_p sampling. )parser.add_argument(--max_out_len, default128, typeint, helpMaximum output length. )parser.add_argument(--min_out_len, default6, typeint, helpMinimum output length. )parser.add_argument(--num_return_sequence, default1, typeint, helpThe number of returned sequence. )parser.add_argument(--temperature, default0.8, typefloat, helpThe temperature to set. )parser.add_argument(--num_return_sequences, default2, typeint, helpThe number of returned sequences. )parser.add_argument(--use_fp16_decoding, actionstore_true, helpWhether to use fp16 decoding to predict. )parser.add_argument(--decoding_strategy,defaultbeam_search,choices[beam_search],typestr,helpThe main strategy to decode. ,)parser.add_argument(--num_beams, default2, typeint, helpThe number of candidate to procedure beam search. )parser.add_argument(--diversity_rate, default0.0, typefloat, helpThe diversity rate to procedure beam search. )parser.add_argument(--length_penalty,default1.2,typefloat,helpThe exponential penalty to the sequence length in the beam_search strategy. ,)args parser.parse_args()return argsdef do_predict(args):place gpu:0place paddle.set_device(place)model_name_or_path args.model_name_or_pathmodel UNIMOLMHeadModel.from_pretrained(model_name_or_path)tokenizer UNIMOTokenizer.from_pretrained(model_name_or_path)unimo_text FasterUNIMOText(modelmodel, use_fp16_decodingargs.use_fp16_decoding, trans_outTrue)# Set evaluate modeunimo_text.eval()# Convert dygraph model to static graph modelunimo_text paddle.jit.to_static(unimo_text,input_spec[# input_idspaddle.static.InputSpec(shape[None, None], dtypeint64),# token_type_idspaddle.static.InputSpec(shape[None, None], dtypeint64),# attention_maskpaddle.static.InputSpec(shape[None, 1, None, None], dtypefloat32),# seq_lenpaddle.static.InputSpec(shape[None], dtypeint64),args.max_out_len,args.min_out_len,args.topk,args.topp,args.num_beams, # num_beams. Used for beam_search.args.decoding_strategy,tokenizer.cls_token_id, # cls/bostokenizer.mask_token_id, # mask/eostokenizer.pad_token_id, # padargs.diversity_rate, # diversity rate. Used for beam search.args.temperature,args.num_return_sequences,],)# Save converted static graph modelpaddle.jit.save(unimo_text, os.path.join(args.export_output_dir, unimo_text))logger.info(UNIMOText has been saved to {}..format(args.export_output_dir))if __name__ __main__:args parse_args()pprint(args)do_predict(args)
4系统参数优化可行
还是那句话看paddlepaddle源码你会有很多惊喜源码里面有系统调优的方法主要是对显卡调优的于是你可以加上下面这段神代码。 于是你又可以提高1-3s又是个小里程碑进步。
5推理代码全部改写cpp可行但不会
在2的时候我埋了个点我说后面讲其实就是你可以把整个推理的代码也就是model.generate全部改写为cpp这个肯定会有大幅度提高但是呢我不会我不会写cpp啊这个只能留着自己私下尝试了并且我问了内幕人这个肯定可行的私下自己试试吧这个跟模型没关系了是个工程的活展开讲也没啥意思就是个翻译过程自己搞吧
6tensorRT优化未知
其实还有个tensorRT优化的办法这个我试了个demo代码里面可能有些demo尝试效果不明显就没往下尝试这个效果未知自己试试吧。 2、整体总结
上面是我整个项目的尝试具体细节信息各位赛友自己跑一跑我的代码才知道里面有很多错误尝试包括我甚至还尝试了内存共享技术、多线程技术、多进程技术和异步处理等等都不是很理想可能你们尝试后会有提高这里面提升最大的还得是超参优化和so库调用。
