Int4WeightOnlyQATLinear

class torchao.quantization.qat.linear.Int4WeightOnlyQATLinear(in_features: int, out_features: int, bias: bool = False, device: device = None, groupsize: int = 256, inner_k_tiles: int = 8, precision: dtype = torch.bfloat16, scales_precision: dtype = torch.bfloat16)

此模組實現了一個線性層，該層具有 int4 按通道分組的偽量化權重，其前向數值與 WeightOnlyInt4Linear 匹配，後者使用高效的 int4 tinygemm 核心。

引數:

• groupsize – 權重的每個量化組的元素數量

• precision – 權重的精度

• scales_precision – 每組尺度和零點的精度