淘宝代运营公司_最好看免费观看高清大全大江大河_google搜索网址_免费建站的平台

1.准备开发环境

1.1 阿里交互式建模(DWS)

• 首先,去阿里云账号注册界面注册好自己的账号
• 然后,开通人工智能平台PAI
  
• 如果已经开通,可以进入管理控制台
• 点击,“新建实例”
• 实例名称,根据自己的意愿填写
• 资源配额选择"公共资源组(按量付费)"
• 资源规格"ecs.gn7i-c8g1.2xlarge(支持资源包抵扣)"
• 镜像选择"modelscope:1.18.0-pytorch2.3.0tensorflow2.16.1-gpu-py310-cu121-ubuntu22.04"
• 其他默认,然后点击确认,等待创建,创建时间根据实际资源情况决定
• 进入实例环境

1.2 搭建部署环境

• 进入终端:
  

1.2.1 创建虚拟环境

• 创建名为"internlm"的虚拟环境

conda create -n internlm python=3.10 -y

• 激活环境

conda activate internlm 

• 安装大模型的基本环境

conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y

• 安装其他依赖

pip install transformers==4.38
pip install sentencepiece==0.1.99
pip install einops==0.8.0
pip install protobuf==5.27.2
pip install accelerate==0.33.0
pip install streamlit==1.37.0

• 安装LMDeploy 以及其他依赖

pip install lmdeploy[all]==0.5.1
pip install timm==1.0.7

• 安装完成之后,检查环境

conda activate internlm 
pip list

• 对比自己的环境,是否匹配上面所有pip的包,例如:
  

1.2.2 下载模型

• 新建文件夹"models"

mkdir -p /mnt/workspace/models
cd models

• 下载模型InternLM-XComposer2-VL-1.8B
• 打开魔搭InternLM-XComposer2-VL-1.8B网址
• 点击"模型文件",点击"下载模型"
  
• 选择"Git下载"
  
• 在终端执行以下命令

git lfs install
git clone https://www.modelscope.cn/shanghai_ai_laboratory/internlm-xcomposer2-vl-1_8b.git

• 下载完成之后:
  
• 下载模型InternVL2-2B
• 打开魔搭InternVL2-2B下载链接
• 点击"下载模型"
  
• 该模型,需要申请,下载需要token:
  
• 在终端输入以下命令:
• 这里的"<输入自己的token>"要修改为自己的token

git lfs install
git clone https://oauth2:<输入自己的token>@www.modelscope.cn/opengvlab/internvl2-2b.git

2. 启动模型

2.1 启动InternLM-XComposer2-VL-1.8B

• 接下来，我们使用 LMDeploy 启动一个与 InternLM-XComposer2-VL-1.8B 模型交互的 Gradio 服务
• 修改启动链接的hug网络环境为镜像环境
• 然后用 LMDeploy 启动一个与 InternLM-XComposer2-VL-1.8B 模型交互的 Gradio 服务

export HF_ENDPOINT='https://hf-mirror.com'
lmdeploy serve gradio /mnt/workspace/models/internlm-xcomposer2-vl-1_8b --cache-max-entry-count 0.1

• 启动完成之后,会给你一个链接,点击进入:
  
• 点击进入网页聊天界面:
• 点击"Upload Image",上传图片
• 输入聊天"这张图片里面有什么内容"
• 回复"这是一张非常壮观的沙滩和海洋景象，海浪和沙滩上聚集了大量的游客，他们都在享受这个美丽的地方。沙滩上遍布着各种颜色的遮阳篷和椅子，这些设备是为了提供游客更好的防晒和休息。在沙滩上，人们有的在享受阳光，有的在聊天，有的在欣赏美丽的风景。"
  
• 观察终端:
  
• 在终端按"Ctrl+C"退出启动

2.2 启动InternVL2-2B

• 启动命令:

export HF_ENDPOINT='https://hf-mirror.com'lmdeploy serve gradio /mnt/workspace/demo/models/internvl2-2b --cache-max-entry-count 0.1

• 注意:这里的/mnt/workspace/demo/models/internvl2-2b地址是跟截图上面第一个红圈里面是匹配的