当前位置: 首页 > news >正文

漳州网站建设哪家最正规大同推广型网站建设

漳州网站建设哪家最正规,大同推广型网站建设,wordpress源代码怎么看,吸金聚财的公司名字Dataset.map 方法概要 可以将datasets中的Dataset实例看做是一张数据表。map方法会将输入的function按照指定的方式应用在每一行#xff08;每一行称为一个example#xff09;上。本文采用一下示例进行说明#xff1a; from datasets import Dataset # datasets.__versi…Dataset.map 方法概要 可以将datasets中的Dataset实例看做是一张数据表。map方法会将输入的function按照指定的方式应用在每一行每一行称为一个example上。本文采用一下示例进行说明 from datasets import Dataset # datasets.__version__ 2.13.0 x [{text: good, label: 1}, {text: bad, label: 0}, {text: great, label: 2}] ds Dataset.from_list(x)function是map方法的核心其介绍单独放在下列章节。其它常用参数的说明如下 remove_columns当function可调用对象处理完数据表中的全部样例之后可以将指定的列删掉。在文本处理中一般会将编码之后的text原文删除掉。fn_kwargs 传入可调用对象function的关键词参数。desc 自定义的描述性信息。   function位置参数 function位置参数接受一个可调用对象本质是该可调用对象对数据表中的每行进行处理。按照布尔型位置参数with_indices, with_rank, batched的取值 function有8种签名。其中batched表示可调用对象一次处理一行还是多行with_indices表示是否将样本的索引编号传入可调用对象 with_rank表示是否将进程rank传入可调用对象。 单样本处理batchedFalse 当设置batchedFalse时可调用对象依次处理每一行。在默认情况下可调用对象的签名为function(example: Dict[str, Any]) - Dict[str, Any]example中的键为数据表中的所有列。可使用input_columns指定哪些列进入example中。可调用对象应该返回一个Dict对象并使用返回结果更新数据表。 from typing import Dict, Anydef func(exam: Dict[str, Any]) - Dict[str, Any]:return {text_length: len(exam[text])}print(ds.map(func).data)如果指定with_indicesTrue则可调用对象中应该指定一个位置参数用于接受样本索引编号。 def func_with_indices(exam, index):return {text_length: len(exam[text]), row_index: int(index)}print(ds.map(func_with_indices, with_indicesTrue, batchedFalse).data)如果指定with_rankTrue则可调用对象中应指定一个位置参数用于接受进程rank。并且应当设置num_proc 大于1否则进程rank的值是相同的。 def func_with_rank(exam, rank):return {text_length: len(exam[text]), proc_rank: int(rank)}print(ds.map(func_with_rank, with_rankTrue, batchedFalse, num_proc2).data)如果同时指定with_indicesTrue与with_rankTrue则可调用对象中接受样本索引编号的位置参数应置于接受进程rank位置参数之前。如def function(example, idx, rank): ...。 def func_with_index_rank(exam, index, rank):return {text_length: len(exam[text]), row_index: int(index), proc_rank: int(rank)}print(ds.map(func_with_rank, with_indicesTrue, with_rankTrue, batchedFalse, num_proc2).data)样本批处理BatchedTrue 当设置batchedTrue时可调用对象会对样本进行批处理批的大小可以通过batch_size控制默认一个批为1000条样本。此情况下签名应满足function(batch: Dict[str, List]) - Dict[str, List]。batch中的键仍然是数据表中的列名称值为多行数据组成的列表。 def batched_func(batch):return {text_length: [len(text) for text in batch[text]]}print(ds.map(batched_func, batchedTrue, batch_size2).data)map方法返回的torch.tensor会被转换为list x [{text: good, label: torch.tensor(1, dtypetorch.long)},{text: bad, label: torch.tensor(0, dtypetorch.long)},{text: great, label: torch.tensor(2, dtypetorch.long)}] ds Dataset.from_list(x) print(type(x[0][label])) # torch.Tensorprint(ds.map().data)def to_tensor(exam):return {label : torch.tensor(exam[label], dtypetorch.long)}print(ds.map(to_tensor).data) # 结果一致数据表中的label均为整数型
http://www.huolong8.cn/news/239995/

相关文章:

  • 西安做营销型网站建设哪家网站做公司最好
  • 网站流量在哪设置容桂品牌网站建设优惠
  • 企业网站建设方案效果竞价销售是什么意思
  • 安阳市网站建设的公司开发网站公司多少钱
  • 生态建设研究所网站新蔡县住房和城乡建设局网站
  • 开发一个商城网站多少钱0基础 网站建设
  • 铜川网站建设电话贵阳企业网站排名优化
  • 手机网站建设宣传好十大广告公司排名
  • 网站设建设wordpress函数讲解
  • 注册网站用户名怎么填写用flask做网站
  • 成都企业网站建设 四川冠辰科技专业做网站的公司有没有服务器
  • 个人简历网站开发株洲定制网站建设
  • 企业型网站建设咨询电话整合营销公司
  • 宁波网站建设团队排名石家庄seo报价
  • 优购物app官方下载昆山优化外包
  • 用PS做网站搜索框书画院网站建设方案
  • php 网站管理系统如何注册国外网站
  • 2015网站备案教程互联网建筑设计平台
  • 石景山网站制作建设公司毕业设计h5网站制作
  • 哈尔滨微网站建设公司免费模板简历
  • 福州网站建设加推广网页制作讲解视频
  • 一般公司网站是什么设计师做鞋子网站模板
  • 洛阳哪家网站做的好网站建设河南
  • 旧笔记本 做网站网站开发工作好找吗
  • 门户地方网站 策略昆明网站建设方案托管
  • 做一个网站大概需要多少钱wordpress 商务主题
  • 建开发网站百度竞价排名广告定价鲜花
  • 哪个网站做海南二手房网站导航栏分析
  • 网站建设前台后台设计深圳需要做网站的公司有哪些
  • 学网站开发需要学什么优质企业网站建设