最近就是新项目和老项目一起支撑，老项目的人以为我还在支撑，然后新项目的人以为我不在支撑老项目了。
本来我还乐呵呵的两边一起支撑，后来领导突然问我怎么还在干老项目，让我把老项目的事情交给另一个同事去干。
感觉有点吃力不讨好之后，我直接完全不管老项目了，在我的签名上直接加上了老项目支撑=〉xx同事。
…
新项目这边之前干过一个星期，有点基础，上手也挺快。
这周当了两天测试，当了几天开发，解了一个问题单。
具体的话就是把转测的门槛用例测完了，开发了一个完整的新功能，然后定位了一个并发问题。
工作内容挺饱满，属于是又有输出了hhh
…
本来以为需要一段时间才能微调一个自己的大模型，结果上周下班后，花了几天时间，居然调好了一个
我这边选用的是腾讯云cloud studio + llama factory来调的。
首先我自己没有gpu环境，就只能搞个服务器来弄。恰巧腾讯云可以白嫖GPU服务器，所有就用它了，链接如下：
https://ide.cloud.tencent.com/dashboard/gpu-workspace
这个GPU服务器的内存是1.5G，不算大，但是既然我是白嫖怪，我就只能说腾讯大气
接着我找了个开源的微调框架llama factory，本来准备用ChatGLM的那个微调教程的，但是看了一下，前者好像用的人更多，也更通用，所以就选它了
我这边的话，微调并使用自己的大模型分为3部
- 微调开源大模型，保存参数
- 将模型输出成gguf格式保存
- 使用Ollama部署自己的大模型
第一步的话，因为我的显存只有1.5G，所以我选择微调Qwen2.5-0.5b的大模型，这个模型需要的显存大概估计如下：
参数0.5G、梯度0.5G、优化器0.3G左右，大概1.3G，所以我的服务器可以调起来。
最后调的时候我发现它实际占用只有700M左右，完全足够。
首先要自己整个huggingface的帐号，因为很多开源模型都是在这里下载的。注意，自己要在网站上生成一个token，然后在服务器登陆。
pip install --upgrade huggingface_hub
# Linux
export HF_ENDPOINT=https://hf-mirror.comhuggingface-cli login
然后下载llama factory
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"
微调大模型: 可以直接在已有的example上修改即可修改一下模型的名字，和自己微调数据集就好。
llamafactory-cli train examples/train_lora/llama3_lora_sft.yaml
llamafactory-cli chat examples/inference/llama3_lora_sft.yaml
llamafactory-cli export examples/merge_lora/llama3_lora_sft.yaml
我这里修改了模型名称为qwen2.5-0.5b, 然后参数类型把bf16改成了false。
在训练好后，模型参数就会保留下来。
接下来第二步就是根据模型参数，输出模型的gguf文件。
git clone https://github.com/ggerganov/llama.cppcd /root/autodl-tmp/llama.cpppython convert_hf_to_gguf.py /workspace/LLaMA-Factory-main/models/llama3_lora_sft --outfile /workspace/tmp/qwen2.5-0.5b-sft.gguf --outtype q8_0
最后一步就是运行自己的模型。
在保存下来的模型文件位置新建一个配置文件test.mf
FROM ./qwen2.5-0.5b-sft.gguf
然后ollama创造一个model
ollama create myModel -f ./test.mf
最后运行模型 ollama run myModel，然后在enchanted里面与模型对话。
就成功部署好自己微调的大模型了
补充一下，最后我这个微调的大模型非常的垃圾，感觉还不如原来的0.5b hhhh。
微调大模型，感觉还是得大显存微调大参数模型，同时微调的数据集也要好。不然感觉微调了个寂寞。
职场菜鸟继续闯关ing
如何学习AI大模型？
作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
一、全套AGI大模型学习路线
AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！
二、640套AI大模型报告合集
这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。
三、AI大模型经典PDF籍
随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。
四、AI大模型商业化落地方案
作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。