快捷方式

FPXWeightOnlyConfig

class torchao.quantization.FPXWeightOnlyConfig(ebits: int, mbits: int, set_inductor_config: bool = True)[source]

子位元組浮點資料型別,由 ebits:指數位數和 mbits:尾數位數定義,例如 fp6_e3_m2、fp6_e2_m3 等。打包格式和核心來自 fp6-llm 論文: https://arxiv.org/abs/2401.14112 github 倉庫: https://github.com/usyd-fsalab/fp6_llm,現已重新命名為 quant-llm。有關打包的更多詳細資訊,請參閱: FpxTensorCoreAQTTensorImpl

這是實驗性的,將來會合併到 to_affine_quantized_floatx

文件

訪問全面的 PyTorch 開發者文件

檢視文件

教程

為初學者和高階開發者提供深入的教程

檢視教程

資源

查詢開發資源並讓您的問題得到解答

檢視資源