您的位置:首页 > 游戏 > 手游 > 深圳最新疫情防控信息亻_广告设计公司介绍范文_太原seo网站优化_定制网站开发公司

深圳最新疫情防控信息亻_广告设计公司介绍范文_太原seo网站优化_定制网站开发公司

2024/10/30 7:04:19 来源:https://blog.csdn.net/weixin_42735060/article/details/143223771  浏览:    关键词:深圳最新疫情防控信息亻_广告设计公司介绍范文_太原seo网站优化_定制网站开发公司
深圳最新疫情防控信息亻_广告设计公司介绍范文_太原seo网站优化_定制网站开发公司

环境:
linux ​ubuntu20.04
python3.12 pytorch2.4 cuda11.8 ——这三个主要是影响下载flash attention。

PS:

  1. 截至发布我只是解决了过程中的坑。还差随后把模型下载完跑起来。机子就被收回了。所以仅供参考。
  2. 本文只罗列一下步骤、坑点和解决方案的来源。过程中会有些跳转到页面展开阅读,但只要顺着看完应该都能复刻我的操作。实在没时间整理了。
    建议先看完再动手,特别是第四个flash_attn。

——————

且看官方给的指引

git clone https://github.com/genmoai/models
cd models 
pip install uv
uv venv .venv
source .venv/bin/activate
uv pip install -e . --no-build-isolation

坑1: 绕开github

选择镜像站 ghproxy.com

直接

git clone https://ghproxy.com/https://github.com/genmoai/models

即可

坑2: uv这个东西不认识

参考了这个同学的笔记:
https://blog.menghuan1918.com/posts/UV_python_packge_manage.html#uv
非常优秀 手动点赞
大致意思是uv是一个比conda快数十倍的环境管理器
为了体验这个新的环境管理工具,我也死磕了一个小时,大致弄明白了。体验真的会非常丝滑。建议不要绕开。虽然可以通过venv或者conda绕开这一步环境配置,但是不划算!是时候学点新东西了!

这里有个经验分享。
​uv pip install 的时候还是需要手动的在最后加上这样一个语句来使用国内几镜像,传统的直接修改/.pip/pip/config的方式并不生效。大家如果有好办法可以交流下。

-i https://pypi.tuna.tsinghua.edu.cn/simple

——————

到这里你应该基本装完 .venv这个环境了 (你也可以改个名字,现在说可能来不及了。。)
如果你成功执行完

source .venv/bin/activate

之后就不断重复

uv pip install -e . --no-build-isolation -i https://pypi.tuna.tsinghua.edu.cn/simple

有包自动装不了报错了。你就手动装一下。坑3打个样,坑4主要对应个比较棘手的情况

——————

坑3 会有很多基础依赖不对

逐个使用pip或者uv pip来手动安装即可
包括不限于 setuptools
报错如:

gradio==3.40.0x Failed to download and build antlr4-python3-runtime==4.9.3-> Build backend failed to determine metadata through prepare_metadata_for_build_wheel` (exit code: 1)[stderr]Traceback (most recent call last):File "<string>", line 8, in <module>ModuleNotFoundError: No module named 'setuptools'

可以这么处理:

uv pip install setuptools -i https://pypi.tuna.tsinghua.edu.cn/simple
uv pip install gradio==3.40.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

然后再继续跑

uv pip install -e . --no-build-isolation -i https://pypi.tuna.tsinghua.edu.cn/simple

坑4: 最后一个环节flash_attn卡了很久

  1. cuda版本不对 注意使用nvcc -V才是真正安装的cuda版本。
    通过这个知乎帖子基本都能解决:https://zhuanlan.zhihu.com/p/520536351
  2. pytorch版本不对
  3. 最后安装发现flash_attn自己也有对cuda + torch + python的限制
    最后通过这个帖子解决:
    关于cuda + torch + python这三个东西的安装 @MurphyStar
    关于flash_attn版本的解释 @长行

ps:pytorch也可以用uv安装。我这里没有管对应的cuda版本,直接pip的。

uv pip install torch==2.4.1 torchvision==0.19.1 torchaudio==2.4.1 -i https://pypi.tuna.tsinghua.edu.cn/simple

建议就算你的gpu能支持到12.x的cuda,也直接选择11.8 。装下来感觉目前市面上这个型号的教程支持最多,各个包对这个版本的cuda支持好像也更广泛一些。(主观感受)

坑5 模型下载

直接从hf-mirror上下载

  1. git clone这个库(两个模型文件下载下来需要后续替换)。
git clone https://hf-mirror.com/genmo/mochi-1-preview

在这里插入图片描述

  1. 大文件我这里是手动下载的
    像这样 右键复制下载地址
    在这里插入图片描述
    在linux服务器上wget。对应的两个链接是:
wget https://hf-mirror.com/genmo/mochi-1-preview/resolve/main/dit.safetensors?download=true
wget https://hf-mirror.com/genmo/mochi-1-preview/resolve/main/vae.safetensors?download=true

最后手动改下名字,替换掉之前的文件即可

当然如果你有git lfs可以直接下。但下载的过程会没有过程性输出。因为文件太大了有30GB左右。所以我还是推荐手动下载,或者用wget。
最新更新:wget也有风险,下着下着就不动了。。。建议还是本地下载完然后上传到服务器上。

=====

步骤1:添加packagecloud仓库

选择合适的脚本:
如果您的Linux发行版使用 apt 或 deb 包管理器(例如Ubuntu、Debian),请使用以下命令:

 curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
  • 如果您的Linux发行版使用 yum 或 rpm 包管理器(例如CentOS、Fedora),请使用以下命令:
 curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.rpm.sh | sudo bash

这些命令会自动配置packagecloud仓库,并导入必要的签名密钥。

步骤2:安装Git LFS

对于 apt 或 deb 系统,运行以下命令:

 sudo apt-get install git-lfs
  • 对于 yum 或 rpm 系统,运行以下命令:
 sudo yum install git-lfs

====
到这里,环境就全部装完了。就差把模型下载到对应位置。

截止发布这个笔记,这个40GB的dit.safetensors模型还在下载中。。。之后再回来给大家报告效果哈哈哈

看到这里真是辛苦了~ 我努力勤奋的宝👍👍

在线乞讨一个量化好的mochi地址 我本地也想玩一玩 谢谢!

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com