Float8WeightOnlyConfig

class torchao.quantization.Float8WeightOnlyConfig(weight_dtype: dtype = torch.float8_e4m3fn, set_inductor_config: bool = True, version: int = 2)

用於將 float8 權重唯一對稱逐通道量化應用於線性層的配置。

引數:

• weight_dtype (torch.dtype) – 權重量化的目標資料型別。預設為 torch.float8_e4m3fn。

• set_inductor_config (bool) – 如果為 True，則將 torchinductor 設定調整為推薦值。

• version (int) – 配置的版本，版本 1 使用 AffineQuantizedTensor，我們計劃棄用/拆分，版本 2 使用 Float8Tensor（預設）。

注意

實際的矩陣乘法將在權重張量的原始精度下計算。