【大模型微调训练与实操】微调 Llama 3 并在本地使用

目标：根据医患对话数据集对 Llama 3 进行微调，创建一个专门针对医疗对话的模型。在合并、转换和量化模型后，它将可以通过 Jan 应用程序供本地私人使用。

在本教程中，我们将学习如何在医学数据集上微调 Llama 3。我们还将通过 Jan 应用程序将模型转换为可供本地使用的格式。

更具体地说，我们将：

• 了解 Llama 3 型号。
• 在医疗数据集上对 Llama 3 模型进行微调。
• 将适配器与基础模型合并，并将完整模型推送至 Hugging Face Hub。
• 将模型文件转换为Llama.cpp GGUF格式。
• 量化GGUF模型并将文件推送至Hugging Face Hub。
• 在 Jan 应用程序本地使用微调模型。

如果你正在寻找学习 AI 的精选课程，请查看有关AI 基础知识的六门课程技能轨迹。

了解 Llama 3

1. 微调 Llama 3
2. 合并 Llama 3
   设置
   将基础模型与适配器合并
   模型推理
   保存并推送合并模型

3.将模型转换为Llama.cpp GGUF
4. 量化GGUF模型
5. 在本地使用微调模型
结论

参考原文：https://www.datacamp.com/tutorial/llama3-fine-tuning-locally