PackingFormat¶
- class torchao.quantization.quantize_.common.PackingFormat(value, names=None, *, module=None, qualname=None, type=None, start=1, boundary=None)[原始碼]¶
torchao 中 Tensor 子類的量化資料的打包格式，表示值如何在量化資料中打包和佈局。
- MARLIN_SPARSE = 'marlin_sparse'¶
解包表示子位元組量化資料儲存為 int8。
- PLAIN = 'plain'¶
preshuffled 指的是 fbgemm 核心使用的預混淆格式。
- PRESHUFFLED = 'preshuffled'¶
marlin_sparse 指的是 marlin 核心使用的格式，僅支援對稱量化。
