很明显,这是一个偏学术方向的指南要求,所以我会把整个LLM应用的从数学到编程语言,从框架到常用模型的学习方法,给你捋一个通透。也可能是不爱学习的劝退文。
通常要达到熟练的进行LLM相关的学术研究与开发,至少你要准备 数学、编码、常用模型的知识,还有LLM相关的知识的准备。只有这些都熟练了,你才能快速阅读相关研究方向的论文,并且判断自己是不是可以在这个方向挖一下。
TL;DR
要求总结:
- 数学知识:线性代数、高数、概率、凸优化
- 开发语言:Python, C/C++
- 开发框架:Numpy/Pytorch/Tensorflow/Keras/Onnx
- 常用模型:MLP、CNN、RNN、Transformer(GPT-2、RWKV、Mamba、TTT)
- LLM相关:Prompt各种理论框架,RAG各种技术,FineTune的几种方法
好了,开始正式的劝退版吧。
数学是基础,但是对于研究生来讲可能又不是大问题。
通常数学对于毕业后的人来讲,需要简单的看一下,对于一个研究生一年级的人来讲不是问题。毕竟线性代数、高数、概率都是必考。只有凸优化这东西,可能是门需要自己再看一下的课程。
线性代数:关键概念包括向量、矩阵、特征值和特征向量。重要的公式涉及矩阵乘法、行列式以及特征值方程Av=λv,其中 A是矩阵,v 是特征向量,λ是特征值。
高数:基本是微分和积分,重点是理解极限、导数和积分的概念。函数 f(x) 在点 x的导数由f′(x)=limh→0 f(x+h)−f(x) 给出,基本微积分定理将微分与积分联系起来。
概率:关键点包括概率公理、条件概率、贝叶斯定理、随机变量和分布。例如,贝叶斯定理由P(A∣B)=P(B∣A)P(A)/P(B)给出,它帮助在发生B 的情况下更新 A 的概率。
凸优化:关注目标函数为凸函数的问题。关键概念包括凸集、凸函数、梯度下降和拉格朗日乘数。梯度下降更新规则可以表示为 xn+1 =xn −α∇f(xn ),其中 α是学习率。可能你需要在此努力一下。
编码,以前需要大量的时间,现在你只需要适应AI的Copilot
原来编码我要写一堆的,但是最近的AI告诉我,Cursor或者任意的AI大模型都可以指导你完成基本的编码工作了。
所以你只需要知道,自己需要下面这些知识就好了。
- 核心开发语言要掌握Python、C/C++。 如果你有更强烈的意愿,可以再去研究一下CUDA相关的知识。
- Numpy 主要是掌握各种数据的使用方法。
- Pytorch 与 Tensor、 Keras 就是完成各种网络及训练的方法。 Onnx就是有些模型是基于它的发布,你要会使用它来运行及分析这个模型。
但这些其实只需要你会问AI大模型就好了。
常用模型,这些可能是让你了解常识,面未来的突破就在历史
MLP、CNN、RNN的典型模型你可能要相对熟悉一点,我建议你自己手写一下。
建议是这些网络
- LeNet-5: 这是最早的卷积神经网络之一。
- AlexNet: AlexNet在ImageNet图像分类竞赛中表现优异,标志着深度学习的广泛应用。
- VGGNet: VGGNet以其深度和使用的小卷积核(3x3)而闻名,常用的模型有VGG16和VGG19。
- ResNet (Residual Networks): ResNet通过引入残差连接解决了深度网络中的梯度消失问题,最著名的版本是ResNet-50、ResNet-101。
- Long Short-Term Memory (LSTM):LSTM通过引入门控机制解决了标准RNN中的长期依赖问题,是处理序列数据的标准模型之一。
- Gated Recurrent Unit (GRU): GRU是LSTM的简化版本,具有类似的性能但计算效率更高。
- Bidirectional RNN: 这是RNN的一种变体,可以同时考虑序列中前后文信息,通常用于自然语言处理任务。
而新一些架构,可能你要看RWKV、Mamba、TTT这三个新架构,它们的潜力还是不错的。
大模型&AI产品经理如何学习
求大家的点赞和收藏,我花2万买的大模型学习资料免费共享给你们,来看看有哪些东西。
1.学习路线图
第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;
第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。
2.视频教程
网上虽然也有很多的学习资源,但基本上都残缺不全的,这是我自己整理的大模型视频教程,上面路线图的每一个知识点,我都有配套的视频讲解。
(都打包成一块的了,不能一一展开,总共300多集)
因篇幅有限,仅展示部分资料,需要点击下方图片前往获取
3.技术文档和电子书
这里主要整理了大模型相关PDF书籍、行业报告、文档,有几百本,都是目前行业最新的。
4.LLM面试题和面经合集
这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集***
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓