大模型国产化适配10-快速迁移大模型到昇腾910B保姆级教程（Pytorch版）
随着ChatGPT的火爆，AI大模型时代来临，但算力紧张。中美贸易战及美国制裁AI芯片，国产化势在必行。已有国产AI芯片和Mindformers框架，基于昇腾910训练大模型，使用MindIE实现大模型服务化。
本文介绍如何迅速将大型模型迁移到昇腾910B,许多入门者都是从斯坦福羊驼开始的。我们将利用羊驼的训练代码和数据集，快速在昇腾910B上训练baichuan2-7B/13B和qwen1.5-7B/14B这两个大型模型。之前的文章已经详细讲解了如何从零开始复现斯坦福羊驼(Stanford Alpaca 7B),因此本文不再赘述该过程。斯坦福羊驼的整体思路如下图所示：
准备工作
- 操作系统版本/架构：EulerOS 2.0 (SP10)/aarch64
- NPU：8x 910B 64G
- Python：3.9
- NPU 驱动：24.1.rc1，
- NPU 固件：7.1.0.6.220，
- CANN 工具包：7.0.0，
- Pytorch及torch_npu插件：2.1.0，
- Docker镜像优化：ascend-mindspore 23.0.0-A2-ubuntu18.04,
- DeepSpeed：0.14.1，
查询所有设备的基本信息。
> npu-smi info
+------------------------------------------------------------------------------------------------+
| npu-smi 24.1.rc1 Version: 24.1.rc1 |
+---------------------------+---------------+----------------------------------------------------+
| NPU Name | Health | Power(W) Temp(C) Hugepages-Usage(page)|
| Chip | Bus-Id | AICore(%) Memory-Usage(MB) HBM-Usage(MB) |
+===========================+===============+====================================================+
| 0 910B1 | OK | 95.7 36 0 / 0 |
| 0 | 0000:C1:00.0 | 0 0 / 0 3306 / 65536 |
+===========================+===============+====================================================+
| 1 910B1 | OK | 96.7 38 0 / 0 |
| 0 | 0000:01:00.0 | 0 0 / 0 3307 / 65536 |
+===========================+===============+====================================================+
| 2 910B1 | OK | 92.2 36 0 / 0 |
| 0 | 0000:C2:00.0 | 0 0 / 0 3307 / 65536 |
+===========================+===============+====================================================+
| 3 910B1 | OK | 96.2 37 0 / 0 |
| 0 | 0000:02:00.0 | 0 0 / 0 3306 / 65536 |
+==========================