快捷方式

Int8DynActInt4WeightQATQuantizer

class torchao.quantization.qat.Int8DynActInt4WeightQATQuantizer(groupsize: int = 256, padding_allowed: bool = False, precision: dtype = torch.float32, scales_precision: dtype = torch.float32)[原始碼]

執行 QAT 的量化器,其中線性層具有 int8 動態每 token 假量化啟用和 int4 假量化每通道分組權重。

文件

訪問全面的 PyTorch 開發者文件

檢視文件

教程

為初學者和高階開發者提供深入的教程

檢視教程

資源

查詢開發資源並讓您的問題得到解答

檢視資源