LSTM#

class torch.nn.modules.rnn.LSTM(input_size, hidden_size, num_layers=1, bias=True, batch_first=False, dropout=0.0, bidirectional=False, proj_size=0, device=None, dtype=None)[原始碼]#

將多層長短期記憶（LSTM）RNN應用於輸入序列。對於輸入序列中的每個元素，每一層都計算以下函式：

\begin{array}{ll} \\ i_t = \sigma(W_{ii} x_t + b_{ii} + W_{hi} h_{t-1} + b_{hi}) \\ f_t = \sigma(W_{if} x_t + b_{if} + W_{hf} h_{t-1} + b_{hf}) \\ g_t = \tanh(W_{ig} x_t + b_{ig} + W_{hg} h_{t-1} + b_{hg}) \\ o_t = \sigma(W_{io} x_t + b_{io} + W_{ho} h_{t-1} + b_{ho}) \\ c_t = f_t \odot c_{t-1} + i_t \odot g_t \\ h_t = o_t \odot \tanh(c_t) \\ \end{array}

其中 $h_t$ 是時間 t 的隱藏狀態， $c_t$ 是時間 t 的單元狀態， $x_t$ 是時間 t 的輸入， $h_{t-1}$ 是上一層的 t-1 時刻的隱藏狀態，或者 0 時刻的初始隱藏狀態，並且 $i_t$ , $f_t$ , $g_t$ , $o_t$ 分別是輸入門、遺忘門、單元狀態和輸出門。 $\sigma$ 是 sigmoid 函式， $\odot$ 是 Hadamard 積。

在多層 LSTM 中，第 $l$ 層（ $l \ge 2$ ）的輸入 $x^{(l)}_t$ 是上一層 $h^{(l-1)}_t$ 的隱藏狀態乘以 dropout $\delta^{(l-1)}_t$ ，其中每個 $\delta^{(l-1)}_t$ 是一個伯努利隨機變數，其取值為 $0$ 的機率為 dropout。

如果指定了 proj_size > 0，則將使用帶有投影的 LSTM。這將以以下方式改變 LSTM 單元：首先， $h_t$ 的維度將從 hidden_size 更改為 proj_size （ $W_{hi}$ 的維度也將相應更改）。其次，每一層的輸出隱藏狀態將被乘以一個可學習的投影矩陣： $h_t = W_{hr}h_t$

引數

input_size – 輸入 x 中預期特徵的數量
hidden_size – 隱藏狀態 h 中的特徵數量
num_layers – 迴圈層數。例如，設定 num_layers=2 意味著將兩個 LSTM 堆疊在一起形成一個“堆疊 LSTM”，第二個 LSTM 接收第一個 LSTM 的輸出並計算最終結果。預設為：1
bias – 如果為 False，則該層不使用偏置權重 b_ih 和 b_hh。預設值：True
batch_first – 如果為 True，則輸入和輸出張量以 (batch, seq, feature) 的形式提供，而不是 (seq, batch, feature)。請注意，這不適用於隱藏狀態或單元狀態。有關詳細資訊，請參閱下方的輸入/輸出部分。預設值：False
dropout – 如果非零，則在除最後一層外的每個 LSTM 層的輸出上引入“Dropout”層，其 dropout 機率等於 dropout。預設為：0
bidirectional – 如果為 True，則變為雙向 LSTM。預設為：False
proj_size – 如果 > 0，則使用具有相應大小的投影的 LSTM。預設為：0

輸入：input, (h_0, c_0)

input: 形狀為 $(L, H_{in})$ 的張量，用於非批處理輸入；當 batch_first=False 時，形狀為 $(L, N, H_{in})$ ，或者當 batch_first=True 時，形狀為 $(N, L, H_{in})$ ，包含輸入序列的特徵。輸入也可以是打包的可變長度序列。有關詳細資訊，請參閱 torch.nn.utils.rnn.pack_padded_sequence() 或 torch.nn.utils.rnn.pack_sequence()。
h_0: 形狀為 $(D * \text{num\_layers}, H_{out})$ 的張量，用於非批處理輸入；或者形狀為 $(D * \text{num\_layers}, N, H_{out})$ 的張量，包含輸入序列中每個元素的初始隱藏狀態。如果未提供 (h_0, c_0)，則預設為零。
c_0: 形狀為 $(D * \text{num\_layers}, H_{cell})$ 的張量，用於非批處理輸入；或者形狀為 $(D * \text{num\_layers}, N, H_{cell})$ 的張量，包含輸入序列中每個元素的初始單元狀態。如果未提供 (h_0, c_0)，則預設為零。

其中

\begin{aligned} N ={} & \text{batch size} \\ L ={} & \text{sequence length} \\ D ={} & 2 \text{ if bidirectional=True otherwise } 1 \\ H_{in} ={} & \text{input\_size} \\ H_{cell} ={} & \text{hidden\_size} \\ H_{out} ={} & \text{proj\_size if } \text{proj\_size}>0 \text{ otherwise hidden\_size} \\ \end{aligned}

輸出：output, (h_n, c_n)

output: 形狀為 $(L, D * H_{out})$ 的張量，用於非批處理輸入；當 batch_first=False 時，形狀為 $(L, N, D * H_{out})$ ，或者當 batch_first=True 時，形狀為 $(N, L, D * H_{out})$ 的張量，包含序列中每個 t 時刻的輸出特徵 (h_t)。如果輸入是 torch.nn.utils.rnn.PackedSequence，則輸出也將是打包序列。當 bidirectional=True 時，output 將包含序列中每個時間步的前向和後向隱藏狀態的連線。
h_n: 形狀為 $(D * \text{num\_layers}, H_{out})$ 的張量，用於非批處理輸入；或者形狀為 $(D * \text{num\_layers}, N, H_{out})$ 的張量，包含序列中每個元素的最終隱藏狀態。當 bidirectional=True 時，h_n 將包含最終前向和後向隱藏狀態的連線，分別表示。
c_n: 形狀為 $(D * \text{num\_layers}, H_{cell})$ 的張量，用於非批處理輸入；或者形狀為 $(D * \text{num\_layers}, N, H_{cell})$ 的張量，包含序列中每個元素的最終單元狀態。當 bidirectional=True 時，c_n 將包含最終前向和後向單元狀態的連線，分別表示。

變數

weight_ih_l[k] – 第 $\text{k}^{th}$ 層可學習的輸入-隱藏權重 (W_ii|W_if|W_ig|W_io)，對於 k = 0，形狀為 (4*hidden_size, input_size)。否則，形狀為 (4*hidden_size, num_directions * hidden_size)。如果指定了 proj_size > 0，則對於 k > 0，形狀將為 (4*hidden_size, num_directions * proj_size)。
weight_hh_l[k] – 第 $\text{k}^{th}$ 層可學習的隱藏-隱藏權重 (W_hi|W_hf|W_hg|W_ho)，形狀為 (4*hidden_size, hidden_size)。如果指定了 proj_size > 0，則形狀將為 (4*hidden_size, proj_size)。
bias_ih_l[k] – 第 $\text{k}^{th}$ 層可學習的輸入-隱藏偏置 (b_ii|b_if|b_ig|b_io)，形狀為 (4*hidden_size)。
bias_hh_l[k] – 第 $\text{k}^{th}$ 層可學習的隱藏-隱藏偏置 (b_hi|b_hf|b_hg|b_ho)，形狀為 (4*hidden_size)。
weight_hr_l[k] – 第 $\text{k}^{th}$ 層可學習的投影權重，形狀為 (proj_size, hidden_size)。僅當指定了 proj_size > 0 時存在。
weight_ih_l[k]_reverse – 與 weight_ih_l[k] 類似，用於反向。僅當指定了 bidirectional=True 時存在。
weight_hh_l[k]_reverse – 類似於 weight_hh_l[k] 的反向。僅當 bidirectional=True 時存在。
bias_ih_l[k]_reverse – 類似於 bias_ih_l[k] 的反向。僅當 bidirectional=True 時存在。
bias_hh_l[k]_reverse – 類似於 bias_hh_l[k] 的反向。僅當 bidirectional=True 時存在。
weight_hr_l[k]_reverse – 類似於 weight_hr_l[k] 的反向。僅當指定了 bidirectional=True 和 proj_size > 0 時存在。

注意

所有權重和偏置都從 $\mathcal{U}(-\sqrt{k}, \sqrt{k})$ 中進行初始化，其中 $k = \frac{1}{\text{hidden\_size}}$ 。

注意

對於雙向 LSTM，前向和後向方向分別為 0 和 1。當 batch_first=False 時，拆分輸出層的示例： output.view(seq_len, batch, num_directions, hidden_size)。

注意

對於雙向 LSTM，h_n 不等同於 output 的最後一個元素；前者包含最終的前向和後向隱藏狀態，而後者包含最終的前向隱藏狀態和初始的後向隱藏狀態。

注意

對於未批處理的輸入，batch_first 引數被忽略。

注意

proj_size 應該小於 hidden_size。

警告

在某些版本的cuDNN和CUDA上，RNN函式存在已知的非確定性問題。您可以透過設定以下環境變數來強制執行確定性行為

在CUDA 10.1上，設定環境變數 CUDA_LAUNCH_BLOCKING=1。這可能會影響效能。

在 CUDA 10.2 或更高版本中，請設定環境變數（請注意開頭的冒號符號） CUBLAS_WORKSPACE_CONFIG=:16:8 或 CUBLAS_WORKSPACE_CONFIG=:4096:2。

更多資訊請參閱cuDNN 8發行說明。

注意

如果滿足以下條件：1) 啟用了 cudnn，2) 輸入資料在 GPU 上 3) 輸入資料的 dtype 為 torch.float16 4) 使用 V100 GPU，5) 輸入資料不是 PackedSequence 格式，則可以選擇持久化演算法來提高效能。

示例

>>> rnn = nn.LSTM(10, 20, 2)
>>> input = torch.randn(5, 3, 10)
>>> h0 = torch.randn(2, 3, 20)
>>> c0 = torch.randn(2, 3, 20)
>>> output, (hn, cn) = rnn(input, (h0, c0))

LSTM#

文件

教程

資源