文章目录
- 前沿
- 安装RUST
- 用python查看torch的位置
- 下载text-embeddings-inference代码
- 全文最搞笑的环节来了
- 后面竟然初期顺利,按文档来就行。
- curl命令进行测试
- 居然成功了:
- 总结
前沿
上回说道,我们想用昇腾的服务器去跑一个名为bge-large-zh-v1.5的embedding的模型。
挑战华为昇腾920B2运行bge-large-zh-v1.5(一)
这第一步竟然是需要对模型进行编译优化。
没想到这一步是真的久啊。
现在终于等到了。那我们久继续后面的过程。
安装RUST
# 对于ARM 64位CPU为aarch64,对于X86 64位CPU可将下面指令的aarch64替换为x86_64
wget https://static.rust-lang.org/dist/rust-1.79.0-aarch64-unknown-linux-gnu.tar.gz --no-check-certificate
tar -xvf rust-1.79.0-aarch64-unknown-linux-gnu.tar.gz
cd rust-1.79.0-aarch64-unknown-linux-gnu
bash install.shsudo apt update
apt install pkg-config
不好意思,又得接近俩小时。
兄弟们,我这边很顺利。没有遇到任何错。
用python查看torch的位置
Python 3.11.10 (main, Nov 5 2024, 04:00:52) [GCC 11.4.0] on linux
Type "help",