现有情况
单4090究极丐中丐为炼丹而生
将来情况
双3090Ti丐版配置表:
cpu:13400f 10核 6大4小 不变
散热:AXP120-x67 不变 本来是要组itx小钢炮
显卡:万丽4090 -> 双七彩虹 3090ti 水冷 单个6500-7200
主板:mingxuan b760m 挑战者 ->微星 z690 carbon 支持x8/x8的最丐旗舰
电源:先马1200w -> 长城1600w
内存:金士顿16X2 -> 无所谓 32X2 或 32X4
我与4090的爱恨情仇
自己的主力机是一台19年拯救者y7000p,这机子放在20年是旗舰级别,中途因一些原因离开学校两年,回来后发现显卡市场发生了翻天覆地的变化。
记得回来时处于大二,老师组织我们为来年的计算机设计大赛做准备,我们在机房进行头脑风暴,那时我对显卡还没有太多的概念,以为自己的GTX1660Ti依然坚挺。当讨论到深度学习模型需要高算力显卡时,朋友问到我是什么显卡。
我回答道:好像1060。
同学一脸惊讶,接着继续问:是RTX吗?
我说:不是很清楚。
当我们再一次聚集讨论新思路时,我带上了我的小破本,同学凑过来一看,发现是GTX1660Ti,瞬间没了兴趣。我这款在20售价接近9k的拯救者无法满足目前的深度学习模型训练。
后来慢慢有了一个想法,开始寻找可用的模型,最终敲定了用三个模型串联来实现。但是在目标检测模型训练时,我小破本开始变得力不从心,小小的6G显存,连加载模型都很吃力,更别说使用稍大一点的数据批处理的尺寸。
此时,还只关注到目标检测模型的模型训练,因此对好显卡的渴望还没到达顶峰,可以通过租GPU服务器来解决这个问题,所以就暂时把这个问题搁置的。后来由于需要用到动作识别,发现了一个基于3D卷积神经网络的原子行为检测模型,这个模型的预训练模型大概在100M,作者在3090上基本能达到20左右的FPS值。而在我的电脑上,可能连5FPS都不到,实时运行出来的效果卡成了幻灯片。当时我不清楚是显卡还是代码本身的原因,了解到同学手上有一张3090,于是想请他帮忙运行一下,看看效果。最终这位同学也没有帮我,让我找一下代码层面的问题。
当时班里面也没有比较好的伙伴,跑一通模型,需要装环境,还是比较麻烦的。所以,拥有一张好显卡的心情到达了极点,当时就想,如果在一张好显卡下,这个代码仍然跑不了,那么就换一个方案。于是开始在3090与4090之间纠结,最开始在京东下单了一张二手保1年的3090,回来装机,还没运行压力测试,背面的温度高得摸不了,于是我怀疑是一张垃圾矿卡(现在回过头来想,3090的温度确实是高,可能也正常)就把这张卡退了。后面决定搞一张顶级的4090,当时最丐的也要12500左右,于是目光转向了某鱼。很幸运,很快便发现了一张京东自营3月的卡,自提,大概在10800左右。就这样我便踏上了接卡回家的火车。
接回来后,这张顶级卡面对我的三模型串行方案也能游刃有余。训模型,做系统,势必要拿下一个国奖!
由于交科赛要现场演示,把大宝贝扛过去不是很现实,期间也想了要不远程控制电脑,给评委演示,但也不好实施。后来托队友帮忙找了一台4060的笔记本,带过去参了赛。最后拿了三等奖,这算是自己的第一个国奖(但是我们学校不认,一般交通类院校认,有的985也认)。
在交科赛结束,坐火车返回学校时,计算机设计赛出了结果,我们只有省三,感到非常意外。时间已经来到的大三的上学期,这时已经决定了要走保研的路,交科赛国三和计算机设计赛都加不了分,于是就找了能加保研分的人工智能赛。
人工智能赛分省赛国赛,省赛需要到另外一个学校答辩,这可让人犯了难。远程操控电脑演示的方案不现实,因为作品是多端协作。只能把一套机器提前搬过去,运行好然后近距离远程操作给评委展示。1200w电源+4090+能装下4090的机箱,感觉快到3 40斤。。。后来好在国赛不用到线下,我们也不用再想办法怎么把主机带过去。比赛结果是在8.30日出来的,刚好踩在了保研加分计算时限内。
后来寝室装修,我住在6楼,为了保证大宝贝的安全,我得把她搬到另外一栋楼的7楼存放。。。每次我要惊动她,都十分小心翼翼,怕给她带来什么损伤。
别了我深爱的4090
时间来到十一月,自己保研成功,导师的研究方向是LLM与SE,大概率是需要微调LLM的。在“千有,万有,不如自己有”的心情催使下,我动了组双显卡的心思,48G能在8int量化下微调7B模型,能起到一个实验性的作用。
最开始想再购置一张4090,但是从搜罗的信息看下来,这种方案主要有以下几个缺点:
1.目前一张4090基本要1.5w
2.需要升级cpu
3.需要升级电源
4.需要升级主板
5.4090不支持nvlink
一套升级下来基本还需要2w-2.5w这是自己无法承受的,最关键的是双4090并不能实现双倍的效果,双显卡同时推理一个模型甚至达不到单张显卡的计算速度。在咸鱼上意外遇到一位老哥,给我普及了一下,大概得到这样一个公示:
双卡4090 ≈ 48G 的90%的4090
一张4090性能 ≈ 157-158%的3090Ti
两张3090Ti ≈ 48G 190%的3090Ti
总结下来,在模型并行时,双4090可能不如加了nvlink的双3090Ti
于是下定决心要出掉4090,换两个3090ti,此时已经卖掉了4090,收回1.52w,下步开始组双3090Ti,想等50系列出来,再买齐两个,到那是基本文章看的差不多,可以开始实验。
看着贩子把我的卡拿走心理不免阵阵伤感
目前双3090Ti购置需要一些时间,待更新。。。