TransformerEncoderLayer#

class torch.nn.modules.transformer.TransformerEncoderLayer(d_model, nhead, dim_feedforward=2048, dropout=0.1, activation=<function relu>, layer_norm_eps=1e-05, batch_first=False, norm_first=False, bias=True, device=None, dtype=None)[原始碼]#

TransformerEncoderLayer 由自注意力機制和前饋網路組成。

此 TransformerEncoderLayer 實現 Attention Is All You Need 論文中描述的原始架構。該層的目的是作為基礎理解的參考實現，因此與較新的 Transformer 架構相比，它只包含有限的功能。考慮到 Transformer 類架構的快速創新步伐，我們建議探索這個教程，從核心構建塊構建高效的層，或使用 PyTorch 生態系統的高階庫。

TransformerEncoderLayer 可以處理傳統的 torch.tensor 輸入或 Nested Tensor 輸入。派生類也應該接受這兩種輸入格式。（目前 TransformerEncoderLayer 並不支援所有輸入的組合，因為 Nested Tensor 仍處於原型階段。）

如果您正在實現自定義層，可以從 Module 或 TransformerEncoderLayer 類派生。如果您的自定義層支援 torch.Tensors 和 Nested Tensors 輸入，則將其實現設為 TransformerEncoderLayer 的派生類。如果您的自定義層僅支援 torch.Tensor 輸入，則將其實現從 Module 派生。

引數

d_model (int) – 輸入中預期的特徵數量（必需）。
nhead (int) – 多頭注意力模型中的頭數（必需）。
dim_feedforward (int) – 前饋網路模型的維度（預設值=2048）。
dropout (float) – dropout 值（預設值=0.1）。
activation (Union[str, Callable[[Tensor], Tensor]]) – 中間層的啟用函式，可以是字串 (“relu” 或 “gelu”) 或一元可呼叫物件。預設值：relu
layer_norm_eps (float) – 層歸一化元件中的 eps 值（預設值=1e-5）。
batch_first (bool) – 如果為 True，則輸入和輸出張量為 (batch, seq, feature)。預設值：False (seq, batch, feature)。
norm_first (bool) – 如果為 True，則在進行注意力（attention）和前饋（feedforward）操作之前先進行層歸一化（layer norm）。否則，在之後進行。預設為 False（之後）。
bias (bool) – 如果設定為 False，則 Linear 和 LayerNorm 層將不會學習加性偏置。預設值：True。

示例

>>> encoder_layer = nn.TransformerEncoderLayer(d_model=512, nhead=8)
>>> src = torch.rand(10, 32, 512)
>>> out = encoder_layer(src)

或者，當 batch_first 為 True 時

>>> encoder_layer = nn.TransformerEncoderLayer(
...     d_model=512, nhead=8, batch_first=True
... )
>>> src = torch.rand(32, 10, 512)
>>> out = encoder_layer(src)

快速路徑

如果滿足以下所有條件，forward() 將使用 FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness 中描述的特殊最佳化實現：

自動梯度被停用（使用 torch.inference_mode 或 torch.no_grad）或者沒有張量引數 requires_grad
訓練被停用（使用 .eval()）
batch_first 為 True 且輸入是批次的（即 src.dim() == 3）
activation 為以下之一："relu"、"gelu"、torch.functional.relu 或 torch.functional.gelu
最多隻傳遞 src_mask 和 src_key_padding_mask 中的一個
如果 src 是 NestedTensor，則不傳遞 src_mask 和 src_key_padding_mask
兩個 LayerNorm 例項具有一致的 eps 值（除非呼叫者手動修改了一個而未修改另一個，否則這自然會成立）

如果正在使用最佳化實現，可以將 NestedTensor 傳遞給 src，以比使用 padding mask 更有效地表示 padding。在這種情況下，將返回一個 NestedTensor，並可以預期額外的加速與輸入中 padding 的比例成正比。

forward(src, src_mask=None, src_key_padding_mask=None, is_causal=False)[原始碼]#

將輸入透過編碼器層。

引數

src (Tensor) – 編碼器層的序列（必需）。
src_mask (Optional[Tensor]) – src 序列的掩碼（可選）。
src_key_padding_mask (Optional[Tensor]) – src 鍵的每批掩碼（可選）。
is_causal (bool) – 如果指定，則將因果掩碼（causal mask）應用為 src mask。預設為 False。警告：is_causal 提供了一個提示，即 src_mask 是因果掩碼。提供不正確的提示可能導致執行不正確，包括前向和後向相容性。

返回型別

張量

形狀: 請參閱Transformer中的文件。

TransformerEncoderLayer#

文件

教程

資源