SELU

class torch.nn.modules.activation.SELU(inplace=False)

逐元素應用 SELU 函式。

$$\text{SELU}(x) = \text{scale} * (\max(0,x) + \min(0, \alpha * (\exp(x) - 1)))$$

其中 $\alpha = 1.6732632423543772848170429916717$ 和 $\text{scale} = 1.0507009873554804934193349852946$。

警告

在使用 kaiming_normal 或 kaiming_normal_ 進行初始化時，應使用 nonlinearity='linear' 而非 nonlinearity='selu'，以實現 自歸一化神經網路。更多資訊請參閱 torch.nn.init.calculate_gain()。

更多細節可在論文 自歸一化神經網路 中找到。

引數

inplace (bool, optional) – 是否可以就地執行操作。預設為： False

形狀

• 輸入： $(*)$，其中 $*$ 表示任意數量的維度。

• 輸出： $(*)$，形狀與輸入相同。

示例

>>> m = nn.SELU()
>>> input = torch.randn(2)
>>> output = m(input)

extra_repr()

返回模組的額外表示。

返回型別

str

forward(input)

執行前向傳播。

返回型別

張量