大家都知道大模型是通过语言序列预测下一个词的概率。假定{ x 1 x_1 x1， x 2 x_2 x2， x 3 x_3 x3，…， x n − 1 x_{n-1} xn−1}为已知序列，其中 x 1 x_1 x1， x 2 x_2 x2， x 3 x_3 x3，…， x n − 1 x_{n-1} xn−1均为维度是 d m o d e l d_{model} dmodel的向量， q n q_{n} qn、 k n k_{n} kn、 v n v_{n} vn同为向量。当输入 x n x_n xn时，需要预测 x n + 1 x_{n+1} xn+1的概率分布。
KV Cache干了什么？
Attention机制的目标是输入 x n x_n xn，输出 z n z_n zn。在具体实现过程中，输入 x n x_n xn，生成 q n q_n qn、 k n k_n kn和 v n v_n vn，并在实际计算中不再需要重复计算 k 1 k_1 k1， k 2 k_2 k2，…， k n − 1 k_{n-1} kn−1和 v 1 v_1 v1， v 2 v_2 v2，…， v n − 1 v_{n-1} vn−1，直接从缓存中取即可。
具体Attention机制计算流程如下图所示。
观察注意力矩阵最下面一行（放大图我放下面了）。新输入的 x n x_n xn通过矩阵 W q W_q Wq生成 q n q_n qn，其中 q n q_n qn与 k 1 k_1 k1， k 2 k_2 k2，…， k n k_n kn均有运算关系。所以可以通过缓存 k 1 k_1 k1， k 2 k_2 k2，…， k n − 1 k_{n-1} kn−1向量加速推理。这是K矩阵需要缓存的原因。
不过很意外的发现最右边一列 q 1 q_1 q1， q 2 q_2 q2，…， q n − 1 q_{n-1} qn−1与 k n k_{n} kn之间存在计算。
不是说好的只有KV缓存，没有Q矩阵缓存？如果推导成立，新输入 x n x_{n} xn是否会改变 x 1 x_1 x1， x 2 x_2 x2，…， x n − 1 x_{n-1} xn−1的注意力分布？
推导没有错，也没有Q矩阵缓存。因为在推理阶段，Attention机制有一个非常重要的细节：mask掩码
注意力矩阵在训练推理过程中，为了模拟真实推理场景，当前位置token是看不到下一位置的，且只能看到上一位置以及前面序列的信息，所以在训练推理的时候加了attention mask。具体实现如下图所示：
将上图灰色区域全部重置为-inf(负无穷大) ，这样方便softmax的时候置为0。当新输入 x n x_n xn，注意力的计算（见注意力矩阵最下面一行）与 q 1 q_1 q1， q 2 q_2 q2，…， q n − 1 q_{n-1} qn−1无关，因此无需缓存Q矩阵
另外，还有个V矩阵，参照图1就干了一件事。
z n = a 1 ∗ v 1 + a 2 ∗ v 2 + . . . + a n ∗ v n z_n = a1*v_1+a2*v_2+...+a_n*v_n zn=a1∗v1+a2∗v2+...+an∗vn
我可以提前缓存 v 1 v_1 v1， v 2 v_2 v2，…， v n − 1 v_{n-1} vn−1，计算的时候从缓存中取即可，这是V矩阵需要缓存的原因。