您的位置:首页 > 新闻 > 会展 > 乌鲁木齐信息网平台_seo优化运营_2024年重大新闻摘抄_网站推广建站

乌鲁木齐信息网平台_seo优化运营_2024年重大新闻摘抄_网站推广建站

2025/4/6 16:52:03 来源:https://blog.csdn.net/A15216110998/article/details/146506117  浏览:    关键词:乌鲁木齐信息网平台_seo优化运营_2024年重大新闻摘抄_网站推广建站
乌鲁木齐信息网平台_seo优化运营_2024年重大新闻摘抄_网站推广建站

ollama迁移已下载的单个模型到服务器

场景

ollama是面向用户级的,部署和运行都很简单,是否高效就另说了。但最起码,他能充分利用用户的硬件设备,在GPU不足也能调用cpu和内存去加持。

ollama运行的模型基本是量化版本的,一般是Q4_K_M,也就是说正常部署一个14b模型是需要40G左右的显存,经过这么一量化,只需要10G显存就差不多了,虽然效果欠缺了很多哈。

模型文件很大,而且要链接ollama的服务器,基本事业单位都不行。那如何把电脑下载的模型拷贝运行就很重要了,这个教程就是解决这个问题。

方案

  1. 联网的电脑傻瓜式安装ollama
  2. 拉取镜像,执行下面命令:
    ollama pull qwen2.5:14b
    
  3. 下载完成后,执行下面命令,导出配置文件manifest:
    ollama show --modelfile qwen2.5:14b > ./Modelfile
    
  4. 配置文件Modelfile生成在当前目录下, 用文本打开如下:
    在这里插入图片描述
  5. 按指向的位置,拷贝模型文件。
  6. 把模型文件和配置文件一起拷贝到目标服务器。
  7. 在目标服务器修改配置文件的模型文件路径(填写实际路径,看上面步骤截图标红框部分)。
  8. 在目标机器执行以下命令进行模型文件载入。
    ollama create mymodelname -f ./Modelfile
    
  9. 到这里就迁移成功了,可以ollama list查一下了。

结语

其他博客一堆直接找blobs和manifests文件夹拷贝的方法很不靠谱,会出现各种异常,尤其是windows\linux字符问题。而我们这种方式基本等于手动加载模型,还能命名模型。

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com