torch.nn.attention.bias.causal_lower_right

torch.nn.attention.bias.causal_lower_right(*size)

建立一個右下三角因果注意力偏置。

此函式生成一個右下三角矩陣來表示因果注意力偏置，並設定對角線偏移，以便包含的值與矩陣的右下角對齊。

構造此掩碼的等效 PyTorch 程式碼為：

diagonal_offset = size[1] - size[0]
torch.tril(
    torch.ones(size, dtype=torch.bool),
    diagonal=diagonal_offset,
)

例如，當 shape=(3,4) 時，生成的偏置張量將是

[[1, 1, 0, 0],
 [1, 1, 1, 0],
 [1, 1, 1, 1]]

引數

size – 偏置矩陣的大小。

返回

右下三角因果偏置變體。

返回型別

CausalBias