Rclone是一个成熟的开源软件,最初受到rsync的启发,用Go语言编写的一个命令行程序,主要用于管理云存储上的文件。它被视为云存储接口的一个功能丰富的替代品,能够支持超过40种的云存储产品,包括S3对象存储、商业及开源的文件存储,以及标准的传输协议。Rclone广泛用于Linux、Windows和Mac系统,第三方技术人员通过该命令行工具或API可以创建新的备份、恢复和业务流程解决方案,完成与云端存储通信的繁重工作。用户常称rclone为“云存储的瑞士军刀”和“与魔法无异的技术”。
官网:Rclone
下载地址: Rclone downloads
arm下载地址:https://downloads.rclone.org/v1.68.0/rclone-v1.68.0-linux-arm64.zip
安装rclone
wget https://downloads.rclone.org/v1.68.0/rclone-v1.68.0-linux-arm64.zip
下载速度比较慢,你懂的。下载完成后,unzip一下就好了
unzip rclone-v1.68.0-linux-arm64.zip
Archive: rclone-v1.68.0-linux-arm64.zipcreating: rclone-v1.68.0-linux-arm64/inflating: rclone-v1.68.0-linux-arm64/README.txt inflating: rclone-v1.68.0-linux-arm64/README.html inflating: rclone-v1.68.0-linux-arm64/rclone.1 inflating: rclone-v1.68.0-linux-arm64/rclone inflating: rclone-v1.68.0-linux-arm64/git-log.txt
[ma-user work]$cd rclone-v1.68.0-linux-arm64
[ma-user rclone-v1.68.0-linux-arm64]$ls
README.html README.txt git-log.txt rclone rclone.1
解压之后,把rclone文件cp到bin执行目录即可
cp rclone*/rclone /usr/local/bin/
使用rclone下载文件
比如我们下载visualglm的模型,官网文档中给出了一个配置文件。visualglm文档:research/visualglm/visualglm.md · MindSpore/mindformers - Gitee.com
按照文档创建配置文件:~/.config/rclone/rclone.conf
内容:
[r2]
type = s3
provider = Cloudflare
access_key_id = eb4d69e273848089c7f9b9599cdcd983
secret_access_key = 367e9b21fef313f187026320016962b47b74ca4ada7d64d551c43c51e195d7a5
endpoint = https://c8a00746a80e06c4632028e37de24d6e.r2.cloudflarestorage.com
acl = private
开始下载文件
rclone copy -P --multi-thread-streams THREAD_COUNT --no-check-certificate -vv --size-only r2:/sat/visualglm-6b.zip ./
把其中的THREAD_COUNT设为需要的线程数即可,比如:
rclone copy -P --multi-thread-streams 4 --no-check-certificate -vv --size-only r2:/sat/visualglm-6b.zip ./
下载完毕:
Transferred: 13.412 GiB / 13.412 GiB, 100%, 11.383 KiB/s, ETA 0s
Transferred: 1 / 1, 100%
Elapsed time: 30m50.5s
2024/09/14 17:17:21 INFO :
Transferred: 13.412 GiB / 13.412 GiB, 100%, 11.383 KiB/s, ETA 0s
Transferred: 1 / 1, 100%
Elapsed time: 30m50.5s
2024/09/14 17:17:21 DEBUG : 8 go routines active
解压缩:
unzip visualglm-6b.zip
rchive: tmp/visualglm-6b.zipcreating: visualglm-6b/extracting: visualglm-6b/latest inflating: visualglm-6b/model_config.json creating: visualglm-6b/1/inflating: visualglm-6b/1/mp_rank_00_model_states.pt
一套下载流程搞定!
另外rclone也可以在mac/linux/FreeBSD下统一这样一条命令下载安装:
sudo -v ; curl https://rclone.org/install.sh | sudo bash
当然,国内速度不是一般的慢。。。。。