p2p网站开发维护,建设发展公司网站,藁城手机网站建设,免费的app软件下载安装LLMs的落地框架#xff08;LangChain#xff09;#xff0c;给LLMs套上一层盔甲#xff0c;快速构建自己的新一代人工智能产品。 一、简介二、LangChain源码三、租用云服务器实例四、部署实例 一、简介
LangChain是一个近期非常活跃的开源代码库#xff0c;目前也还在快速… LLMs的落地框架LangChain给LLMs套上一层盔甲快速构建自己的新一代人工智能产品。 一、简介二、LangChain源码三、租用云服务器实例四、部署实例 一、简介
LangChain是一个近期非常活跃的开源代码库目前也还在快速发展中旨在让大家快速构建自己的LLM对话产品。当然该框架也支持自定义接入其他机构、企业开源的LLMs的API和模型比如ChatGLM、文心一言等。
届时LangChain的版本已经更新到0.0.123目前保持着每天1发版的更新速度。
LangChain主要包括以下几个主要的模块
Prompt Templates支持自定义Prompt工程的快速实现以及和LLMs的对接 LLMs提供基于OpenAI API封装好的大模型包含常见的OpenAI大模型也支持自定义大模型的封装 Utils大模型常见的植入能力的封装比如搜索引擎、Python编译器、Bash编译器、数据库等等 Chains重点大模型针对一系列任务的顺序执行逻辑链 Agents重点通常Utils中的能力、Chains中的各种逻辑链都会封装成一个个工具Tools供Agents进行智能化调用 其中Chains和Agents两个模块是LangChain的亮点也是后续教程中会重点展开的内容。
目前LangChain支持调用的OpenAI模型可以在官方文档[文档, OpenAI, Models]中查询
LangChain 支持大量用例例如
针对特定文档的问答根据给定的文档回答问题使用这些文档中的信息来创建答案。 聊天机器人构建可以利用 LLM 的功能生成文本的聊天机器人。 Agents开发可以决定行动、采取这些行动、观察结果并继续执行直到完成的代理。
二、LangChain源码
Github 地址 https://github.com/imClumsyPanda/langchain-ChatGLM
https://github.com/hwchase17/langchain
三、租用云服务器实例
https://www.lanrui-ai.com/ 注意收费有点贵只用于训练时使用
四、部署实例
实例开启后选择JupyterLab进入后启动命令行。 环境准备与数据下载 #克隆LangChain-ChatGLM项目
git clone https://github.com/imClumsyPanda/langchain-ChatGLM.git
进入langchain-ChatGLM文件夹
cd langchain-ChatGLM/#项目中 pdf 加载由先前的 detectron2 替换为使用 paddleocr如果之前有安装过 detectron2 需要先完成卸载避免引发 tools 冲突
pip uninstall detectron2
如果不需要对 pdf 格式文件读取可不安装 detectron2如需对 pdf 文件进行高精度文本提取建议按照如下方法安装
$ git clone https://github.com/facebookresearch/detectron2.git
$ cd detectron2
$ pip install -e .#安装依赖
pip install -r requirements.txt -i https://mirror.sjtu.edu.cn/pypi/web/simple
#安装protobuf --- 安装失败也可以跳过
pip install protobuf3.20.1
#安装peft
pip install peft
#将gradio升级到3.28.3
pip install --upgrade gradio
#安装git1fs
git lfs install
#如果安装安装git1fs时出现以下错误git: lfs is not a git command. See git --help. 则使用以下指令。
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs
#退回根目录
cd ~
#创建存放数据的文件夹autodl-tmp为数据盘将模型下载到数据盘中
mkdir data/your_path/
#下载LLM模型文件比较大需要等一会
git clone https://huggingface.co/THUDM/chatglm-6b data/your_path//chatglm-6b
#下载Embedding模型
git clone https://huggingface.co/GanymedeNil/text2vec data/your_path/text2vec修改配置文件 在langchain-ChatGLM/configs/model_config.py中修改Embedding、LLM模型名称及地址 修改LLM模型地址 LLM_MODEL “chatglm-6b” //LLM名称 OPEN_CROSS_DOMAIN True // 开启跨域
在langchain-ChatGLM/webui.py中修改端口号为6006。 启动对话web页面 进入langchain-ChatGLM文件中 python webui.py启动成功
langchain-ChatGLM WebUI成功部署就可以导入自己的知识库进行测试了。
