网站域名的安全性_web前端开发学什么专业_seo建站技巧_seo工资水平

高效微调（prompt-tuning，p-tuning v1，p-tuning v2，lora）

1.prompt-tuning：

例子理解；保持原本模型参数不变，通过训练提示词的参数调整prompt，使其与下游任务匹配。
例子：

2.p-tuning：

与prompt-tuning不同的是， prompt 不再是固定的文本，而是通过可学习的向量来表示
例子：

3.p-tuning v2：

与p-tuning不同的是v2在每一层（encoder / decoder）都加入[learned prefix]。

4.lora：

Lora方法指的是在大型语言模型上对指定参数增加额外的低秩矩阵，也就是在原始PLM旁边增加一个旁路，做一个降维再升维的操作。并在模型训练过程中，固定PLM的参数，只训练降维矩阵A与升维矩阵B。而模型的输入输出维度不变，输出时将BA与PLM的参数叠加。用随机高斯分布初始化A，用0矩阵初始化B。
结构图：