IntXQuantizationAwareTrainingConfig

class torchao.quantization.qat.IntXQuantizationAwareTrainingConfig(activation_config: Optional[FakeQuantizeConfigBase] = None, weight_config: Optional[FakeQuantizeConfigBase] = None)

(已棄用) 請改用 QATConfig。

用於將假量化應用於 torch.nn.Module 的配置。與 quantize_() 一起使用。

使用示例

from torchao.quantization import quantize_
from torchao.quantization.qat import IntxFakeQuantizeConfig
activation_config = IntxFakeQuantizeConfig(
    torch.int8, "per_token", is_symmetric=False,
)
weight_config = IntxFakeQuantizeConfig(
    torch.int4, group_size=32, is_symmetric=True,
)
quantize_(
    model,
    IntXQuantizationAwareTrainingConfig(activation_config, weight_config),
)

注意：如果將配置應用於非 torch.nn.Linear 或 torch.nn.Embedding 的模組，或者將其應用於帶有啟用配置的 torch.nn.Embedding，我們將引發 ValueError，因為這些不支援。