KernelPreference

class torchao.quantization.quantize_.common.KernelPreference(value, names=None, *, module=None, qualname=None, type=None, start=1, boundary=None)

用於指定用於量化、矩陣乘法或其他量化張量的計算操作的核心組的列舉。

可以在 torchao/quantization/quantize_/workflows 下的張量子類實現中找到選項如何影響選定核心的示例

AUTO = 'auto'

使用 torch 原生的量化和量化 mm 核心

TORCH = 'torch'

使用 fbgemm 量化和量化 mm 核心，需要 fbgemm_gpu_genai 庫