Phi-4：微软 14B 参数开源模型，性能匹敌 OpenAI GPT-4o-mini，现已登陆 Ollama
一、Phi-4 模型概述
（一）模型参数与规模
Phi-4 是微软推出的一款小型语言模型，拥有 140 亿参数。虽然参数量相对较小，但它在性能上却展现出了惊人的实力，甚至在某些基准测试中超越了更大规模的模型。Phi-4 的模型架构基于 Transformer 的解码器架构，与 GPT 系列模型类似，这种架构利用自注意力机制，能够有效捕捉文本序列中的长期依赖关系，尤其擅长处理自然语言生成任务。
（二）推出背景与目标
在人工智能领域，语言模型的发展日新月异。微软作为行业的重要参与者，一直致力于推动语言模型技术的进步。Phi-4 的推出旨在挑战“模型越大越好”的传统观念，通过创新的训练方法和高质量的数据，实现高效的信息处理和复杂任务的执行，为人工智能在更多领域的应用提供新的可能性。
二、Phi-4 模型架构
（一）基于 Transformer 的解码器架构
Phi-4 采用了基于 Transformer 的解码器架构，这种架构利用自注意力机制，能够有效捕捉文本序列中的长期依赖关系。自注意力机制允许模型在处理一个词时，考虑到整个文本序列中的所有词，从而更好地理解上下文信息。
（二）参数规模与层数
Phi-4 的参数总量为 140 亿个参数，模型层数为 40 层。这样的参数规模和层数使得 Phi-4 在保持较小模型体积的同时，具备了强大的计算能力和推理能力。
（三）上下文长度
Phi-4 的初始上下文长度为 4,096 个 Token，在中期训练阶段扩展到了 16,000 个 Token（16K）。这种扩展使得 Phi-4 能够处理更长的文本，提高了模型在处理长文本任务时的表现。
三、Phi-4 的训练方法与数据策略
（一）数据质量优先的理念
Phi-4 在训练过程中非常重视数据质量。与其他模型不同，Phi-4 大幅度引入了合成数据。合成数据的使用包括借助多个代理共同生成数据、自我修正流程和指令反转等，极大地丰富了训练的多样性。此外，Phi-4 还从高质量的互联网内容、书籍以及学术论文中精心筛选和过滤数据，确保在降低噪声的同时提升模型的表现。
（二）合成数据的全面应用
Phi-4 的训练数据主要由高质量的合成数据组成。合成数据能够提供结构化、逐步的学习材料，使得模型能够更加高效地学习语言的逻辑与推理过程。例如，在数学问题的解答中，合成数据可以按照解题步骤逐步呈现，帮助模型更好地理解问题的结构与解题思路。此外，合成数据能够更好地与模型的推理上下文对齐，更接近于模型在实际应用中需要生成的输出格式。
四、Phi-4 的应用领域与表现
（一）问答能力
Phi-4 能理解和回答各种问题，尤其在 STEM（科学、技术、工程和数学）领域表现出色。它在美国数学竞赛 AMC 10/12 中得分超过 90，显示了强大的数学推理能力。
（二）数学问题解决
Phi-4 在数学等领域的复杂推理方面表现出色。它能够快速分析问题的逻辑结构，准确地运用相关知识进行推理和计算。
（三）编程任务
Phi-4 在编程任务上也表现出色，能理解和生成代码，解决编程问题。在 HumanEval 基准测试中，Phi-4 以 82.6% 的准确率领先其他开源模型。
（四）长文本处理
基于 midtraining 阶段，Phi-4 能处理长达 16K 的上下文，保持高召回率。
（五）复杂推理
Phi-4 在多个基准测试中展现处理复杂推理任务的能力，如 MMLU 和 GPQA。
（六）安全交互
Phi-4 在后训练中进行安全对齐，确保与用户的交互符合负责任 AI 原则。
ollama已更新phi4:14b
https://ollama.com/library/phi4
ollama run phi4:14b
六、总结
Phi-4 作为微软推出的最新小型语言模型，在仅有 140 亿参数的情况下，通过创新的训练方法和高质量的数据，展现出了媲美甚至超越一些更大规模模型的性能。它在数学推理、编程任务、长文本处理等多个领域都表现出色，为人工智能技术的发展提供了新的思路和可能性。Phi-4 的成功也证明了在模型设计中，数据质量的重要性不亚于模型规模。