Int8WeightOnlyConfig

class torchao.quantization.Int8WeightOnlyConfig(group_size: Optional[int] = None, set_inductor_config: bool = True)

用於將 int8 僅權重對稱逐通道量化應用於線性層的配置。

引數:

• group_size – Optional[int] = None - 控制量化的粒度。如果為 None，則應用逐通道量化。否則，應用指定組大小的每組量化。

• set_inductor_config – bool = True - 如果為 True，則調整 torchinductor 設定以推薦值，以獲得此量化方案的更好效能。