从模型完成训练，到最终将模型部署到实际硬件上，整个流程中会涉及到很多不同层面的工作，每一个环节对技术点的要求也不尽相同。但本质的工作无疑是通过减小模型大小，提高推理速度等，使得模型能够成功部署在各个硬件之中去并且实时有效的运作。
深度学习模型的压缩和加速是指利用神经网络参数的冗余性和网络结构的冗余性精简模型，在不影响任务完成度的情况下，得到参数量更少、结构更精简的模型。被压缩后的模型计算资源需求和内存需求更小，相比原始模型能够满足更加广泛的应用需求。
大模型的推理优化是指对大模型的推理过程进行优化，以提高其推理性能。
通过剪枝和量化减少模型的参数数量和计算量后，可以进一步采用推理优化技术（如混合精度推理、分布式推理等）来提高推理速度。同时，推理优化技术也可以为压缩技术提供更好的基础，使得压缩后的模型在保持精度的同时能够更快地进行推理。
一、模型量化（quantization）
1. 1量化概念
模型量化是一种将神经网络的浮点算法转换为低比特定点计算的技术，它主要适用于需要在资源受限的设备上部署模型的场景，如移动设备、嵌入式系统等。量化可以实现存储空间优化、计算速度优化。
1.2量化是如何缩小模型的？
目前发现不使用4字节FP32精度转而使用2字节BF16/FP16半精度可以获得几乎相同的推理结果，同时模型大小会减半。这促使开发者想进一步削减内存，如果再从2字节半精度转成仅1字节的8bits数据类型，甚至4bits类型呢？实际上，对于大模型最常见的就是8bits量化(FP8/INT8)和4bits量化(FP4/NF4/INT4)。
量化通过减少每个模型权重所需的位数，显著降低了模型的大小。模型一个典型的场景是将权重从FP16（16位浮点）减少到INT4（4位整数）。同时，在内存中传输时，也显著降低了带宽占用。这允许模型在更便宜的硬件上或以更高的速度运行。通过降低权重的精度，LLM的整体质量也会受到一些影响。
研究表明，这种影响因所使用的技术而异，较大的模型受到精度变化的影响较小。更大的型号（超过70B）即使转换为4bits也能保持其性能。一些技术，如NF4，表明对其性能没有影响。因此，对于这些较大的型号，4bits似乎是性能和大小/速度之间的最佳折衷，而对于较小的型号，8bits量化可能更好。
较大的模型（如超过70B）使用4bit量化其性能没有影响
较小的模型使用8bit量化可能更好