大兴安岭地网站seo_北京市最新疫情发布会_腾讯推广一次广告多少钱_网络渠道有哪些

从零预训练一个tiny-llama

参考项目：https://github.com/KMnO4-zx/tiny-llm
数据集：https://www.modelscope.cn/datasets/AI-ModelScope/TinyStories

1. 数据集

2. 数据预处理

3. 训练模型

4. 项目结构介绍

5. 运行项目示例

学习总结

本次掌握了数据集的预处理，并对预处理后的数据进行训练。了解模型如何基于已有的上下文生成后续 token 的机制。