您的位置:首页 > 游戏 > 游戏 > 网页设计培训学校多少_四川新站优化_宁波seo在线优化_站长工具seo综合查询5g

网页设计培训学校多少_四川新站优化_宁波seo在线优化_站长工具seo综合查询5g

2024/12/23 2:28:28 来源:https://blog.csdn.net/kjnsdg/article/details/143591550  浏览:    关键词:网页设计培训学校多少_四川新站优化_宁波seo在线优化_站长工具seo综合查询5g
网页设计培训学校多少_四川新站优化_宁波seo在线优化_站长工具seo综合查询5g

1. Huggingface下载模型

首先在Huggingface平台注册账号。

然后进入https://github.com/codespaces,选择使用jupyter_notebook配置,输入以下命令流安装香瓜依赖。

# 安装transformers
pip install transformers==4.38
pip install sentencepiece==0.1.99
pip install einops==0.8.0
pip install protobuf==5.27.2
pip install accelerate==0.33.0

然后新建一个hf_download_josn.py 文件,输入以下内容。

import os
from huggingface_hub import hf_hub_download# 指定模型标识符
repo_id = "internlm/internlm2_5-7b"# 指定要下载的文件列表
files_to_download = [{"filename": "config.json"},{"filename": "model.safetensors.index.json"}
]# 创建一个目录来存放下载的文件
local_dir = f"{repo_id.split('/')[1]}"
os.makedirs(local_dir, exist_ok=True)# 遍历文件列表并下载每个文件
for file_info in files_to_download:file_path = hf_hub_download(repo_id=repo_id,filename=file_info["filename"],local_dir=local_dir)print(f"{file_info['filename']} file downloaded to: {file_path}")

部分代码解释如下:

  1. local_dir = f"{repo_id.split('/')[1]}": 这行代码创建了一个新变量 local_dir,它通过分割 repo_id 字符串并取其第二部分来形成模型的本地目录名称。split('/') 会根据斜杠 / 分割字符串,返回一个列表,取列表的第二个元素(索引为1)作为目录名。

  2. os.makedirs(local_dir, exist_ok=True): 这行代码使用 os 模块的 makedirs 函数创建一个新目录。local_dir 是要创建的目录的名称。exist_ok=True 参数意味着如果目录已经存在,不会抛出错误,而是正常执行。

 

运行该文件,可以看到,已经从Hugging Face上下载了相应配置文件。

 2. Hugging Face Spaces的使用

进入https://huggingface.co/spaces,在右上角点击Create new Space进行创建,在创建页面中,输入项目名为intern_cobuild,并选择Static应用进行创建。

回到codespaces,在终端输入:

git clone https://huggingface.co/spaces/<your_username>/intern_cobuild

然后再对应的文件夹下找到index文件,输入以下代码:

<!doctype html>
<html>
<head><meta charset="utf-8" /><meta name="viewport" content="width=device-width" /><title>My static Space</title><style>html, body {margin: 0;padding: 0;height: 100%;}body {display: flex;justify-content: center;align-items: center;}iframe {width: 430px;height: 932px;border: none;}</style>
</head>
<body><iframe src="https://colearn.intern-ai.org.cn/cobuild" title="description"></iframe>
</body>
</html>

然后远程push我们更新的代码,输入以下指令:

git add .
git commit -m "update: colearn page"
git push

其中git push 会报错。

这里需要在Huggingface上获取一个Access token,在Huggingface用户->settings->Access Tokens新建一个token。

然后输入以下

git remote set-url origin https://<user_name>:<token>@huggingface.co/<repo_path>

之后再次git push,是成功的。

回到Huggingface的spaces页面,可以看到页面已经被更新。

3. 上传模型

通过CLI上传 Hugging Face同样是跟Git相关联,通常大模型的模型文件都比较大,因此我们需要安装git lfs,对大文件系统支持。

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
git lfs install # 直接在git环境下配置git LFS
pip install huggingface_hub

创建项目,注意这里不要在之前的intern_build仓库里面创建,本人在这里踩了坑,没注意父文件夹。

cd /workspaces/codespaces-jupyter#intern_study_L0_4就是model_name
huggingface-cli repo create intern_study_L0_4# 克隆到本地 your_github_name 注意替换成你自己的
git clone https://huggingface.co/{your_github_name}/intern_study_L0_4

在 intern_study_L0_4 上传之前下载好的config.json,然后新建一个README.md,粘贴以下内容。

# 书生浦语大模型实战营camp4
- hugging face模型上传测试
- 更多内容请访问 https://github.com/InternLM/Tutorial/tree/camp4

现在可以用git提交到远程仓库

cd intern_study_L0_4
git add .
git commit -m "add:intern_study_L0_4"
git push

现在可以在Hugging Face的个人profile里面看到这个model。

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com