MinMaxObserver

class torch.ao.quantization.observer.MinMaxObserver(dtype=torch.quint8, qscheme=torch.per_tensor_affine, reduce_range=False, quant_min=None, quant_max=None, factory_kwargs=None, eps=1.1920928955078125e-07, is_dynamic=False, **kwargs)

用於根據執行時的最小值和最大值計算量化引數的觀察者模組。

此觀察者使用張量的最小值/最大值統計資料來計算量化引數。該模組記錄傳入張量的執行時的最小值和最大值，並使用此統計資料來計算量化引數。

引數

• dtype – dtype argument to the quantize node needed to implement the reference model spec.

• qscheme – Quantization scheme to be used

• reduce_range – Reduces the range of the quantized data type by 1 bit

• quant_min – Minimum quantization value. If unspecified, it will follow the 8-bit setup.

• quant_max – Maximum quantization value. If unspecified, it will follow the 8-bit setup.

• eps (Tensor) – Epsilon value for float32, Defaults to torch.finfo(torch.float32).eps.

給定執行時的最小值/最大值為 $x_\text{min}$ 和 $x_\text{max}$，縮放因子 $s$ 和零點 $z$ 的計算方法如下：

執行時的最小值/最大值 $x_\text{min/max}$ 的計算方法如下：

$$\begin{array}{ll} x_\text{min} &= \begin{cases} \min(X) & \text{if~}x_\text{min} = \text{None} \\ \min\left(x_\text{min}, \min(X)\right) & \text{otherwise} \end{cases}\\ x_\text{max} &= \begin{cases} \max(X) & \text{if~}x_\text{max} = \text{None} \\ \max\left(x_\text{max}, \max(X)\right) & \text{otherwise} \end{cases}\\ \end{array}$$

其中 $X$ 是觀察到的張量。

縮放因子 $s$ 和零點 $z$ 的計算方法如下：

$$\begin{aligned} \text{if Symmetric:}&\\ &s = 2 \max(|x_\text{min}|, x_\text{max}) / \left( Q_\text{max} - Q_\text{min} \right) \\ &z = \begin{cases} 0 & \text{if dtype is qint8} \\ 128 & \text{otherwise} \end{cases}\\ \text{Otherwise:}&\\ &s = \left( x_\text{max} - x_\text{min} \right ) / \left( Q_\text{max} - Q_\text{min} \right ) \\ &z = Q_\text{min} - \text{round}(x_\text{min} / s) \end{aligned}$$

其中 $Q_\text{min}$ 和 $Q_\text{max}$ 是量化資料型別的最小值和最大值。

警告

dtype 只能取 torch.qint8 或 torch.quint8。

注意

如果執行時的最小值等於執行時的最大值，則縮放因子和零點分別設定為 1.0 和 0。

calculate_qparams()

計算量化引數。

forward(x_orig)

記錄 x 的執行時的最小值和最大值。

reset_min_max_vals()

重置最小值/最大值。