torchao.utils

Tensor 子類工具

TorchAOBaseTensor

一個提供常用功能的實用 tensor 子類

torchao.quantization.quantize_.common

quantize_ API 通用工具

KernelPreference	用於指定用於量化、矩陣乘法或其他量化 tensor 的計算運算的核心組的列舉
PackingFormat	torchao 中量化資料在 Tensor 子類中的打包格式，表示值如何在量化資料中打包和佈局。
QuantizeTensorKwargs	量化 tensor 建立的關鍵字引數容器的基類。
_choose_quant_func_and_quantize_tensor	給定一個 tensor 和一個 kwargs 容器，根據 quant_kwargs 的型別選擇一個派生資料型別（float8、int8 等）來量化 tensor，並在（1）中量化 tensor 到所選的派生資料型別。這對於支援將啟用靈活量化到各種派生資料型別是必需的。