評價此頁

torch.nn.attention.bias#

創建於: 2023年12月05日 | 最後更新於: 2025年06月14日

定義與 scaled_dot_product_attention 配合使用的 bias 子類

CausalBias#

CausalBias

表示因果注意力模式的 bias。

causal_lower_right

建立一個下三角形的因果 bias。

causal_upper_left

建立一個上三角形的因果 bias。

CausalVariant

用於注意力機制的因果變體的列舉。