Float8DynamicActivationInt4WeightConfig¶

class torchao.quantization.Float8DynamicActivationInt4WeightConfig(packing_format: PackingFormat = 'preshuffled')[原始碼]¶

應用於線性層的 float8 動態每行量化和 int4 每組權重量化的配置（目前僅支援 group_size 128，因為底層核心僅支援 128 及以上，且沒有使其更大的優勢）。