域名注册查询站长工具,wordpress留言墙,wordpress 避免被刷死,html下载官网在人工智能领域#xff0c;清华技术成果转化的公司智谱AI启动了支持中英双语的对话机器人ChatGLM内测。ChatGLM是一个初具问答和对话功能的千亿中英语言模型#xff0c; 并针对中文进行了优化#xff0c;现已开启邀请制内测#xff0c;后续还会逐步扩大内测范围。
ChatGLM…在人工智能领域清华技术成果转化的公司智谱AI启动了支持中英双语的对话机器人ChatGLM内测。ChatGLM是一个初具问答和对话功能的千亿中英语言模型 并针对中文进行了优化现已开启邀请制内测后续还会逐步扩大内测范围。
ChatGLM可以很轻松地部署在本地的硬件上当时采用的是THUDM/chatglm-6b-int4。使用的时候需要安装一些特定的Python包按提示安装即可。
为了后续的学习和再训练我们直接使用完整的ChatGLM存档结构代码如下
from transformers import AutoTokenizer, AutoModel
names [THUDM/chatglm-6b-int4,THUDM/chatglm-6b]
tokenizer AutoTokenizer.from_pretrained(THUDM/chatglm-6b, trust_remote_codeTrue)
model AutoModel.from_pretrained(THUDM/chatglm-6b, trust_remote_codeTrue).half().cuda()
response, history model.chat(tokenizer, 你好, history[])
print(response)
print(-----------------------)
response, history model.chat(tokenizer, 晚上睡不着应该怎么办, historyhistory)
print(response)从打印结果来看此时的展示结果与chatglm-6b-int4没有太大差别。
可以直观地看到此时的下载较烦琐下载文件被分成了8部分依次下载然后将其系统地合并如图16-4所示。 需要注意的是对于下载的存档文件还需要进行合并处理展示如图16-5所示。 图16-5 对下载的存档文件进行合并处理
最终展示的结果如图16-6所示。 图16-6 最终展示的结果
请读者自行打印验证这部分内容。需要注意的是即使问题是一样的但是回答也有可能不同因为我们所使用的ChatGLM是生成式模型前面的生成直接影响了后面的生成而这一点也是生成模型不好的地方前面的结果有了波动后面就会发生很大的变化会产生滚雪球效应。
16.2.3 ChatGLM的使用与Prompt介绍
前面简单向读者介绍了ChatGLM的使用除此之外ChatGLM还有很多可以胜任的地方例如进行文本内容的抽取读者可以尝试如下任务
contentChatGLM-6B 是一个开源的、支持中英双语的对话语言模型
基于 General Language Model (GLM) 架构具有 62 亿参数。
手机号 18888888888
结合模型量化技术用户可以在消费级的显卡上进行本地部署INT4 量化级别下最低只需 6GB 显存。
ChatGLM-6B 使用了较 ChatGPT 更为高级的技术针对中文问答和对话进行了优化。
邮箱 123456789qq.com
经过约 1T 标识符的中英双语训练辅以监督微调、反馈自助、人类反馈强化学习等技术的加持
账号:root 密码:xiaohua123
62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答更多信息请参考我们的博客。prompt从上文中提取信息(keyword,content)包括:手机号、邮箱、账号、密码等类型的实体输出json格式内容
input {}\n\n{}.format(content,prompt)
print(input)
response, history model.chat(tokenizer, input, history[])
print(response)这是一个经典的文本抽取任务希望通过ChatGLM抽取其中的内容在这里我们使用了一个Prompt中文暂时称为“提示”Prompt是研究者为了下游任务设计出来的一种输入形式或模板它能够帮助ChatGLM“回忆”起自己在预训练时“学习”到的东西。
Prompt也可以帮助使用者更好地“提示”预训练模型所需要做的任务在这里我们通过Prompt的方式向ChatGLM传达一个下游任务目标即需要其对文本进行信息抽取抽取其中蕴含的手机、邮箱、账号、密码等常用信息。最终显示结果如图16-7所示。 图16-7 对文本进行信息抽取
可以看到这是一个使用JSON格式表示的抽取结果其中的内容根据Prompt中的定义提供了相应的键-值对直接抽取了对应的信息。 本文节选自《从零开始大模型开发与微调基于PyTorch与ChatGLM》获出版社和作者授权共享。
