论文速读|MetaAligner: Towards Generalizable Multi-Objective Alignment of Language Models
论文信息：
简介：
本文的背景是大型语言模型（LLMs）的最新进展，这些模型专注于通过多目标偏好对齐来满足多样化的人类期望和价值观。然而，现有的对齐方法依赖于策略模型参数，这导致每次引入新的策略模型时都需要重复进行高成本的对齐算法。此外，这些方法无法扩展到未见过的目标，因为它们的对齐目标是静态的。
本文的动机是现有的多目标对齐算法在训练成本和泛化能力方面存在显著的局限性。随着策略模型的规模和迭代速度的增加，现有的方法变得不兼容。此外，现有的方法无法在未见目标上进行有效的对齐，导致其泛化能力较差。为了解决这些问题，本文提出了一种新的方法，旨在实现策略无关和可泛化的多目标偏好对齐。
论文方法：
本文提出了一种名为Meta-Objective Aligner（MetaAligner）的方法，这是第一个策略无关且可泛化的多目标偏好对齐方法。
MetaAligner将多目标对齐建模为三个阶段：
1）动态目标重构算法：
该算法重新组织传统的对齐数据集，以监督模型在不同目标之间进行灵活对齐。通过在提示中结合各种对齐目标的文本描述来实现这一点。
2）条件弱到强校正范式：
该范式将策略模型的弱输出对齐到在相应对齐目标中具有更高偏好的强输出。在训练期间，MetaAligner被堆叠在策略模型上以执行目标感知校正，其中策略模型的参数是固定的，MetaAligner通过基于SFT的三步训练过程进行优化：预热、等偏好对齐和对比偏好对齐。这种范式使MetaAligner能够在任何策略模型上执行即插即用推理，即使无法访问其参数，这显著降低了训练成本，并促进了对闭源LLMs的对齐。
3）可泛化推理方法：
在推理期间，MetaAligner通过更新提示中的目标文本描述来灵活调整目标目标。这种方法还可以使MetaAligner适应未见目标，并通过上下文学习实现新的对齐策略，这是以前在语言模型对齐中很少探索的新功能。对齐目标的数量也变得可扩展，理论上可以实现无限的同时对齐目标。
论文实验：
根据Table 2的内容，论文的实验部分主要评估了MetaAligner模型在三个不同的对齐数据集（HH-RLHF、UltraFeedback和IMHI）上的性能。
实验涉及多个不同规模的策略模型，包括LLaMA2-Chat、Gemma-instruct、Vicuna以及闭源模型GPT-3.5-Turbo和Claude-3-Sonnet。
MetaAligner模型在大多数目标和策略模型上实现了显著的改进。例如，在UltraFeedback数据集上，MetaAligner-1.1B在“诚实”目标上平均提高了11.47%，MetaAligner-7B提高了34.39%，MetaAligner-13B提高了43.79%。在心理健康分析基准IMHI上，MetaAligner模型在所有目标上也显示出显著的胜率，证明了其在领域知识密集场景中进行多目标对齐的有效性。
从策略模型规模的角度来看，MetaAligner成功地对开源模型进行了对齐，这些模型的规模从2B到70B不等，显著扩展了MetaAligner本身的规模。在极端情况下，MetaAligner-1.1B将参数数量多63倍的LLaMA2-Chat-70B输出的胜率平均提高了12.19%。
MetaAligner还在闭源LLMs（如GPT-3.5-Turbo和Claude-3-Sonnet）上显著提高了性能，证明了其在闭源场景中的应用潜力。
论文链接：
https://openreview.net/forum?id=dIVb5C0QFf