承德网站制作公司,网站建设 趋势,济南找工作哪个网站好,网页网站设计制作欢迎关注我的CSDN#xff1a;https://spike.blog.csdn.net/ 本文地址#xff1a;https://blog.csdn.net/caroline_wendy/article/details/131400428 BERT是一个在大量英文数据上以自监督的方式预训练的变换器模型。这意味着它只是在原始文本上进行预训练#xff0c;没有人以… 欢迎关注我的CSDNhttps://spike.blog.csdn.net/ 本文地址https://blog.csdn.net/caroline_wendy/article/details/131400428 BERT是一个在大量英文数据上以自监督的方式预训练的变换器模型。这意味着它只是在原始文本上进行预训练没有人以任何方式对它们进行标注这就是为什么它可以使用大量公开可用的数据而是用一个自动的过程来从这些文本中生成输入和标签。更准确地说它是用两个目标进行预训练的
掩码语言建模 (Masked Language ModelingMLM) 给定一个句子模型随机地掩盖输入中的15%的词然后将整个掩盖的句子通过模型并且必须预测掩盖的词。这与传统的循环神经网络RNN不同它们通常是一个接一个地看词或者与像GPT这样的自回归模型不同它们内部地掩盖未来的词。这使得模型能够学习句子的双向表示。下一句预测 (Next Sentence PredictionNSP)模型在预训练期间将两个掩盖的句子作为输入拼接起来。有时它们对应于原始文本中相邻的句子有时不是。然后模型必须预测这两个句子是否是相互跟随的。
uncased 表示不区分大小写
Hugging Facebert-base-uncased
配置 ssh 之后使用 git 下载工程模型使用占位符
git clone githf.co:bert-base-uncased从 Hugging Face 网站下载 5 个大文件
flax_model.msgpack # 417M
model.safetensors # 420M
pytorch_model.bin # 420M
rust_model.ot # 509M
tf_model.h5 # 511M使用 bypy 下载文件参考CSDN - 使用网盘快速下载 Hugging Face 大模型
bypy info
bypy downdir /bert-base-uncased/ ./bert-base-uncased/完成更新 5 个文件。
测试脚本
from transformers import BertTokenizer, BertModel
tokenizer BertTokenizer.from_pretrained(bert-base-uncased)
model BertModel.from_pretrained(bert-base-uncased)
text Replace me by any text youd like.
encoded_input tokenizer(text, return_tensorspt)
output model(**encoded_input)
print(foutput.last_hidden_state: {output.last_hidden_state.shape})输出
output.last_hidden_state: torch.Size([1, 12, 768])
