torch.nn.functional.gelu

torch.nn.functional.gelu(input, approximate='none') → Tensor

當 approximate 引數為 ‘none’ 時，它將逐元素應用函式 $\text{GELU}(x) = x * \Phi(x)$

其中 $\Phi(x)$ 是高斯分佈的累積分佈函式。

當 approximate 引數為 ‘tanh’ 時，Gelu 的估計公式如下：

$$\text{GELU}(x) = 0.5 * x * (1 + \text{Tanh}(\sqrt{2 / \pi} * (x + 0.044715 * x^3)))$$(x+0.044715∗x3)))

請參閱 Gaussian Error Linear Units (GELUs)。