文章探讨了大语言模型（LLMs）在嵌入标记时的非欧几里得特性，并提出了一种新的超曲率低秩适应方法（hyperbolic low-rank efficient fine-tuning，HypLoRA），旨在在超曲率空间中进行模型微调，以更有效地利用标记的层次结构。研究发现，LLMs的标记频率遵循幂律分布，并且嵌入空间呈现出树状结构特性。HypLoRA通过直接在超曲率流形上进行低秩适应，克服了传统方法在欧几里得空间中应用时的局限性，从而显著提高了模型在复杂推理任务（如AQuA数据集）上的性能，最高可提升13%。该研究为LLMs的几何建模提供了新思路。
1 HypLoRA方法
传统的大语言模型（LLMs）通常依赖于欧几里得几何进行文本表示，这可能不适合处理复杂的层次数据结构。超曲率几何被认为是更合适的选择，因为它能有效表示树状层次结构。
超曲率低秩适应方法（HypLoRA）旨在直接在超曲率流形上进行低秩适应，而不是依赖于欧几里得空间的经典技术。HypLoRA通过避免将嵌入和权重矩阵转换到切空间，保留了超曲率建模的能力。
·传统的微调方法使用指数和对数映射，这在处理超曲率空间时可能导致信息损失和性能下降。HypLoRA通过直接在超曲率流形上进行操作，克服了这些问题。
2 结语
文章提出了一种新的超曲率低秩适应方法（HypLoRA），旨在通过超曲率几何改进大语言模型（LLMs）的微调性能，从而更有效地捕捉和利用复杂的层次关系，尤其在解决复杂推理任务时显示出显著的性能提升。
论文题目： Hyperbolic Fine-tuning for Large Language Models
论文链接： https://arxiv.org/abs/2410.04010
PS: 欢迎大家扫码关注公众号_，我们一起在AI的世界中探索前行，期待共同进步！
