Int4WeightOnlyEmbedding

class torchao.quantization.qat.embedding.Int4WeightOnlyEmbedding(num_embeddings: int, embedding_dim: int, padding_idx: Optional[int] = None, max_norm: Optional[float] = None, norm_type: float = 2.0, scale_grad_by_freq: bool = False, sparse: bool = False, group_size: int = 32, scale_precision: dtype = torch.float32, zero_point_precision: dtype = torch.int32, device: device = None, output_dtype: dtype = torch.float32)

該模組實現了一個具有 int4 量化分組通道權重的嵌入層。

forward(x)

定義每次呼叫時執行的計算。

所有子類都應重寫此方法。

注意

儘管前向傳播的實現需要在此函式中定義，但您應該在之後呼叫 Module 例項而不是此函式，因為前者會處理註冊的鉤子，而後者則會靜默忽略它們。