FakeQuantizedLinear

class torchao.quantization.qat.FakeQuantizedLinear(in_features: int, out_features: int, bias: bool = False, activation_config: Optional[FakeQuantizeConfigBase] = None, weight_config: Optional[FakeQuantizeConfigBase] = None, *args, **kwargs)

具有假量化權重和啟用的一般線性層。

透過權重和啟用的獨立配置來指定特定的目標資料型別、粒度、方案等。

使用示例

activation_config = IntxFakeQuantizeConfig(
    dtype=torch.int8,
    granularity="per_token",
    is_symmetric=False,
)
weight_config = IntxFakeQuantizeConfig(
    dtype=torch.int4,
    group_size=8,
    is_symmetric=True,
)
fq_linear = FakeQuantizedLinear(
    16, 32, False, activation_config, weight_config,
)
fq_linear(torch.randn(16))

forward(x: Tensor) → Tensor

定義每次呼叫時執行的計算。

所有子類都應重寫此方法。

注意

儘管前向傳播的實現需要在此函式中定義，但您應該在之後呼叫 Module 例項而不是此函式，因為前者會處理註冊的鉤子，而後者則會靜默忽略它們。