torch.svd#

torch.svd(input, some=True, compute_uv=True, *, out=None)#

計算矩陣或矩陣批的奇異值分解 input。奇異值分解表示為一個命名元組 (U, S, V)，使得 input $= U \text{diag}(S) V^{\text{H}}$ . 其中 $V^{\text{H}}$ 對於實數輸入是 V 的轉置，對於複數輸入是 V 的共軛轉置。如果 input 是矩陣批，則 U、S 和 V 也將具有與 input 相同的批維度。

如果 some 為 True (預設值)，則方法返回約簡奇異值分解。在這種情況下，如果 input 的最後兩個維度是 m 和 n，則返回的 U 和 V 矩陣將只包含 min(n, m) 個正交列。

如果 compute_uv 為 False，則返回的 U 和 V 將是形狀分別為 (m, m) 和 (n, n) 的零填充矩陣，並且與 input 在同一裝置上。當 compute_uv 為 False 時，引數 some 無效。

支援 input 的浮點、雙精度、複數浮點和複數雙精度資料型別。U 和 V 的資料型別與 input 的相同。S 始終是實數值，即使 input 是複數。

警告

torch.svd() 已棄用，推薦使用 torch.linalg.svd()，並將在未來的 PyTorch 版本中移除。

U, S, V = torch.svd(A, some=some, compute_uv=True) (預設) 應替換為

U, S, Vh = torch.linalg.svd(A, full_matrices=not some)
V = Vh.mH

_, S, _ = torch.svd(A, some=some, compute_uv=False) 應替換為

S = torch.linalg.svdvals(A)

注意

與 torch.linalg.svd() 的區別

some 與 torch.linalg.svd() 的 full_matrices 引數相反。請注意，兩者預設值均為 True，因此預設行為實際上是相反的。
torch.svd() 返回 V，而 torch.linalg.svd() 返回 Vh，即 $V^{\text{H}}$ 。
如果 compute_uv 為 False，torch.svd() 為 U 和 Vh 返回零填充的張量，而 torch.linalg.svd() 返回空張量。

注意

奇異值按降序排列。如果 input 是矩陣批，則批中每個矩陣的奇異值按降序排列。

注意

僅當 compute_uv 為 True 時，S 張量才能用於計算梯度。

注意

當 some 為 False 時，在反向傳播中將忽略 U[…, :, min(m, n):] 和 V[…, :, min(m, n):] 上的梯度，因為這些向量可以是相應子空間的任意基。

注意

CPU 上的 torch.linalg.svd() 的實現使用 LAPACK 的例程 ?gesdd (分治演算法) 而不是 ?gesvd 以提高速度。類似地，在 GPU 上，它使用 cuSOLVER 的例程 gesvdj 和 gesvdjBatched (CUDA 10.1.243 及更高版本)，以及早期 CUDA 版本中的 MAGMA 例程 gesdd。

注意

返回的 U 將不是連續的。該矩陣（或矩陣批）將表示為列主序矩陣（即 Fortran 連續）。

警告

僅當輸入沒有零奇異值或重複奇異值時，U 和 V 的梯度才會是有限的。

警告

如果任何兩個奇異值之間的距離接近零，則 U 和 V 的梯度將是數值不穩定的，因為它們取決於 $\frac{1}{\min_{i \neq j} \sigma_i^2 - \sigma_j^2}$ . 當矩陣具有小奇異值時也會發生這種情況，因為這些梯度也取決於 S^{-1}。

警告

對於複數值 input，奇異值分解不是唯一的，因為 U 和 V 可以乘以任意相位因子 $e^{i \phi}$ 在每個列上。當 input 具有重複的奇異值時也會發生這種情況，此時可以將 U 和 V 中跨越子空間的列乘以旋轉矩陣，並且生成的向量將跨越相同的子空間。不同的平臺，如 NumPy，或不同裝置型別的輸入，可能會產生不同的 U 和 V 張量。

引數

input (Tensor) – 輸入張量，形狀為 (*, m, n)，其中 * 是零個或多個批次維度，由 (m, n) 矩陣組成。
some (bool, optional) – 控制是計算約簡還是完整分解，以及相應地 U 和 V 的形狀。預設值：True。
compute_uv (bool, optional) – 控制是否計算 U 和 V。預設值：True。

關鍵字引數

out (tuple, optional) – 輸出張量元組

示例

>>> a = torch.randn(5, 3)
>>> a
tensor([[ 0.2364, -0.7752,  0.6372],
        [ 1.7201,  0.7394, -0.0504],
        [-0.3371, -1.0584,  0.5296],
        [ 0.3550, -0.4022,  1.5569],
        [ 0.2445, -0.0158,  1.1414]])
>>> u, s, v = torch.svd(a)
>>> u
tensor([[ 0.4027,  0.0287,  0.5434],
        [-0.1946,  0.8833,  0.3679],
        [ 0.4296, -0.2890,  0.5261],
        [ 0.6604,  0.2717, -0.2618],
        [ 0.4234,  0.2481, -0.4733]])
>>> s
tensor([2.3289, 2.0315, 0.7806])
>>> v
tensor([[-0.0199,  0.8766,  0.4809],
        [-0.5080,  0.4054, -0.7600],
        [ 0.8611,  0.2594, -0.4373]])
>>> torch.dist(a, torch.mm(torch.mm(u, torch.diag(s)), v.t()))
tensor(8.6531e-07)
>>> a_big = torch.randn(7, 5, 3)
>>> u, s, v = torch.svd(a_big)
>>> torch.dist(a_big, torch.matmul(torch.matmul(u, torch.diag_embed(s)), v.mT))
tensor(2.6503e-06)

torch.svd#

文件

教程

資源