Float8FakeQuantizeConfig¶
- class torchao.quantization.qat.Float8FakeQuantizeConfig(dtype: dtype = torch.float8_e4m3fn, granularity: Union[PerTensor, PerRow] = PerRow(), hp_value_lb: Optional[float] = None, hp_value_ub: Optional[float] = None)[原始碼]¶
針對
Float8Tensor的 float8 虛量化配置。- 引數:
dtype (torch.dtype) – float8 Tensor 的資料型別
granularity (FP8Granularity) – Tensor 的粒度，目前可以是 PerRow() 或 PerTensor()
hp_value_lb (Optional[float]) – 用於計算 scale 的高精度浮點值的下界
hp_value_ub (Optional[float]) – 用於計算 scale 的高精度浮點值的上界
