MindNLP ChatGLM-6B StreamChat
本案例基于MindNLP和ChatGLM-6B实现一个聊天应用。
安装mindnlp
pip install mindnlp
安装mdtex2html
pip install mdtex2html
配置网络线路
export HF_ENDPOINT=https://hf-mirror.com
代码开发
下载权重大约需要10分钟
from mindnlp.transformers import AutoModelForSeq2SeqLM, AutoTokenizer
import gradio as gr
import mdtex2htmlmodel = AutoModelForSeq2SeqLM.from_pretrained('ZhipuAI/ChatGLM-6B', mirror="modelscope").half()
model.set_train(False)
tokenizer = AutoTokenizer.from_pretrained('ZhipuAI/ChatGLM-6B', mirror="modelscope")
可以修改下列参数和prompt体验模型
prompt = '你好,简单介绍一下MindSpore'
history = []
response, _ = model.chat(tokenizer, prompt, history=history, max_length=20)
response
结果
MindSpore 是一个基于人工智能的开源框架