smooth_fq_linear_to_inference¶
- torchao.quantization.smooth_fq_linear_to_inference(model, debug_skip_calibration=False) None[原始碼]¶
透過為每個 SmoothFakeDynamicallyQuantizedLinear 層計算 smoothquant 比例來為模型準備推理。
- 引數:
model (torch.nn.Module) – 包含 SmoothFakeDynamicallyQuantizedLinear 層的模型。
debug_skip_calibration (bool, optional) – 如果為 True，則將啟用的執行最大值設定為用於效能基準測試的除錯值。預設為 False。
- 返回:
無
