理解 IQ（重要性矩阵量化）和 NVFP4

在快速发展的人工智能领域，高效运行大型语言模型（LLM）是一项重大挑战。两种量化技术已成为关键解决方案：重要性矩阵量化（IQ）和 NVFP4。虽然两者都旨在减小模型大小并加速推理，但它们基于根本不同的原理运行，并针对不同的硬件。本文解释了它们是什么、如何表现，以及为什么您的选择在很大程度上取决于您的 GPU。

什么是重要性矩阵量化（IQ）？

重要性矩阵量化（IQ）是一种基于软件的量化方法，主要用于 llama.cpp 生态系统。核心思想是使用通过将校准数据集运行通过模型生成的“重要性矩阵”（imatrix）。该矩阵识别哪些权重对模型的智能至关重要，哪些不太重要。在量化过程中，IQ 通过将重要权重保持在较高精度来保护它们，同时积极压缩不太重要的权重。与标准量化方法相比，这允许模型在非常低的比特率（例如 2 位或 3 位）下保持更高的连贯性和准确性。

IQ 是一种软件级优化。它不需要特定的硬件功能即可运行；它可以在 CPU 和几乎任何 GPU 上运行。对于需要在有限硬件上运行大型模型的用户来说，它是首选，例如在 VRAM 有限的家庭 PC 上运行 70B 模型。权衡之处在于，IQ 量化的创建可能计算量很大，并且生成的模型可能仍会有一些质量损失，尤其是在极低的比特率下。然而，对于许多用例，它在大小和性能之间提供了极好的平衡。

什么是 NVFP4？

NVFP4 是一种硬件加速的 4 位浮点格式，专为 NVIDIA Blackwell 架构（例如 B200 和 RTX 50 系列 GPU）引入。它旨在实现数据中心和高端工作站的最大吞吐量和效率。NVFP4 使用专有的 4 位浮点格式（E2M1 编码），采用两级缩放策略：每 16 个元素块的细粒度 FP8 比例因子，以及每个张量的 FP32 比例因子。

由于 Blackwell Tensor Core 原生支持此格式，它们可以直接对这些 4 位值执行矩阵乘法。这消除了在计算期间将权重反量化为更高精度（如 FP16 或 BF16）的需要。因此，NVFP4 提供了巨大的性能提升——通常比 FP8 快 2-3 倍，并且比 FP16 显著更节省内存——因为它减少了数据移动，并允许 GPU 每个时钟周期处理更多操作。NVFP4 的精度为 4 位浮点，低于 FP16，但对于许多推理任务来说已经足够，尤其是与高级缩放技术结合使用时。

旧 GPU 上的硬件支持和仿真

这些技术之间的根本区别在于硬件支持。在 Blackwell GPU（例如 RTX 50 系列、B200）上，NVFP4 原生运行。GPU 直接处理 4 位数据，提供完整的速度和内存优势。例如，使用 NVFP4 量化的 70B 模型可以装入显著更少的 VRAM，并且比其 FP16 对应模型运行得快得多。

然而，在较旧的架构（如 NVIDIA RTX 3000（Ampere）和 4000（Ada Lovelace）系列）上，这些卡缺乏原生 FP4 Tensor Core。虽然您可以在这些卡上技术上加载 NVFP4 量化的模型文件，但 GPU 无法以 4 位执行数学运算。相反，软件必须通过将权重反量化为更高精度（如 BF16 或 FP16）来仿真该格式，然后才能进行计算。结果：您失去了所有性能和内存优势。模型将消耗与标准 FP16 模型相同数量的 VRAM，并且推理速度不会比标准模型更快。在旧硬件上，没有任何仿真可以赋予 NVFP4 的速度或内存效率；它实际上只是一种必须解包才能使用的存储格式。

比较：IQ 与 NVFP4

下表总结了 IQ 和 NVFP4 之间的主要区别。

结论

总之，IQ 和 NVFP4 服务于不同的目的。IQ 是一种多功能的软件解决方案，无论硬件如何，都擅长为内存受限的环境压缩模型。NVFP4 是一种硬件特定的格式，可在 NVIDIA Blackwell GPU 上释放前所未有的速度和效率。如果您拥有 Blackwell 卡，NVFP4 可以显著提高您的推理性能。如果您使用的是较旧的硬件，IQ 仍然是在 VRAM 限制内运行大型模型的强大工具。了解这些差异将帮助您为 AI 工作负载选择正确的量化策略。