Int8DynamicActivationInt4WeightConfig

class torchao.quantization.Int8DynamicActivationInt4WeightConfig(group_size: int = 32, layout: Layout = PlainLayout(), mapping_type: MappingType = MappingType.SYMMETRIC, act_mapping_type: MappingType = MappingType.ASYMMETRIC, set_inductor_config: bool = True)

用於將 int8 動態每 token 非對稱啟用量化和 int4 每組權重對稱量化應用於線性層的配置。這用於為 executorch 後端生成模型，但目前 executorch 尚不支援對此流程產生的量化模型的降低。

引數:

• group_size – 量化的引數，控制量化的粒度，值越小，粒度越細。

• layout – 量化權重張量的佈局型別，目前僅支援 MarlinQQQLayout() 和 CutlassInt4PackedLayout()。

• mapping_type – 權重的量化型別，控制權重量化是對稱還是非對稱。

• act_mapping_type – 啟用的量化型別，控制啟用量化是對稱還是非對稱。

• set_inductor_config – 如果為 True，則將 torchinductor 設定調整為推薦值。