您的位置:首页 > 健康 > 养生 > 微信公众号如何创建文件夹_上海传媒公司李健_东莞百度seo在哪里_理发美发培训学校

微信公众号如何创建文件夹_上海传媒公司李健_东莞百度seo在哪里_理发美发培训学校

2025/3/10 11:56:18 来源:https://blog.csdn.net/fenglllle/article/details/145946020  浏览:    关键词:微信公众号如何创建文件夹_上海传媒公司李健_东莞百度seo在哪里_理发美发培训学校
微信公众号如何创建文件夹_上海传媒公司李健_东莞百度seo在哪里_理发美发培训学校

前言

最近DeepSeek大模型很火,实际工作中也有使用,很多人觉得需要很好的显卡才能跑起来,至少显存需要很高,但实际上一般的核显机器也能跑起来,只不过内存要求要大,对于个人而言,实际上Mac M芯片的内存也行,就是有点贵(戏称黄金内存)😅,实际上AMD也有专门供给AI的APU AI Max系列(增大内存带宽和通道)或者NVIDIA的定制机,当然真实生产力另说。

实际体验

还是使用Ollama启动器:M2 Mac mini跑Llama3_在m2上运行llama3-8b-CSDN博客

这一块就不说了,说点真实体验

执行模型拉取,笔者使用M4 macmini 丐版可以运行14b模型,运行流畅

ollama run deepseek-r1:14b

大约9G左右

内存并没怎么占用,经测试使用Intel 12400 Ubuntu核显都能跑,但是速度要比macmini慢一些,建议如果是核显机器跑7b或者8b模型,毕竟是运行模型并不是训练模型并不怎么耗显存。

预测:8G的电脑可以跑7b或者8b的模型,占用应该在6G左右

16G的电脑跑14b模型,占用在9G左右

32G电脑可以跑32b模型,占用估计24G左右

UI

笔者以前基本上不使用UI,直接就是命令行,其实也没事,不过图形化还是可以增加使用效率,这里就用一个免费的软件ChatBox为例,当然也可以使用docker运行各种UI,也是免费的,我这里为了不允许docker,就用了桌面端软件。

简单设置一下就可以用了

我这里使用的Ollama,如果使用其他启动器,相对应即可,这个UI已经默认选择就配置好了API接口(启动器官网有相关说明)。

然后选择

其他的也可以自己设置,随便问一个问题

相对于Llama3,中文不会水土不服

使用体验而言,14b已经很不错了,当然模型越大越好,但是越大的模型就越需要显存。

总结

仅仅是分享体验感受,实际上体验本地的AI模型的门槛是很低的,一般的Intel 核显就行,也需要一定的显存,不过不是特别消耗,如果实在不足那么也可以降低模型的大小,当然蒸馏模型越小失真就越严重,物理定律是不能违背的。另外也可以配置一个UI界面,如果是生产环境就建议部署docker应用,自己本地体验实际上用免费的桌面软件就好了。

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com