Float8StaticActivationFloat8WeightConfig

class torchao.quantization.Float8StaticActivationFloat8WeightConfig(scale: Tensor, activation_dtype: dtype = torch.float8_e4m3fn, weight_dtype: dtype = torch.float8_e4m3fn, granularity: Optional[Union[PerTensor, PerRow, Tuple[Union[PerTensor, PerRow], Union[PerTensor, PerRow]]]] = None, mm_config: Optional[Float8MMConfig] = Float8MMConfig(emulate=False, use_fast_accum=True, pad_inner_dim=False), set_inductor_config: bool = True)

配置應用於 float8 靜態對稱量化的選項

引數:

• scale (torch.Tensor) – 啟用量化的 scale 張量。

• activation_dtype (torch.dtype) – 啟用量化的目標資料型別。預設為 torch.float8_e4m

• weight_dtype (torch.dtype) – 權重量化的目標資料型別。預設為 torch.float8_e4m

• mm_config (Float8MMConfig) – 矩陣乘法的配置。預設為使用快速累加。

• set_inductor_config (bool) – 如果為 True，則將 torchinductor 設定調整為推薦值。