torch.linalg.svd#

torch.linalg.svd(A, full_matrices=True, *, driver=None, out=None)#

計算矩陣的奇異值分解 (SVD)。

令 $\mathbb{K}$ 為 $\mathbb{R}$ 或 $\mathbb{C}$ ，對於矩陣 $A \in \mathbb{K}^{m \times n}$ ，如果 k = min(m,n)，則 **完整 SVD** 定義為

A = U \operatorname{diag}(S) V^{\text{H}} \mathrlap{\qquad U \in \mathbb{K}^{m \times m}, S \in \mathbb{R}^k, V \in \mathbb{K}^{n \times n}}

其中 $\operatorname{diag}(S) \in \mathbb{K}^{m \times n}$ ， $V^{\text{H}}$ 是 $V$ 為複數時的共軛轉置，當 $V$ 為實數時的轉置。矩陣 $U$ , $V$ (因此也包括 $V^{\text{H}}$ ) 在實數情況下是正交的，在複數情況下是酉的。

當 m > n (或 m < n) 時，我們可以去掉 U (或 V) 的最後 m - n (或 n - m) 列，形成 **約簡 SVD**

A = U \operatorname{diag}(S) V^{\text{H}} \mathrlap{\qquad U \in \mathbb{K}^{m \times k}, S \in \mathbb{R}^k, V \in \mathbb{K}^{n \times k}}

其中 $\operatorname{diag}(S) \in \mathbb{K}^{k \times k}$ . 在這種情況下， $U$ 和 $V$ 也具有正交列。

支援浮點 (float)、雙精度浮點 (double)、複數浮點 (cfloat) 和複數雙精度浮點 (cdouble) 資料型別。還支援矩陣批處理，如果 `A` 是一個矩陣批處理，則輸出具有相同的批處理維度。

返回的分解是一個命名元組 (U, S, Vh)，對應於上面的 $U$ , $S$ , $V^{\text{H}}$ .

奇異值按降序返回。

引數 full_matrices 選擇完整 SVD（預設）或約簡 SVD。

在 CUDA 上使用 cuSOLVER 後端時，可以使用 driver 關鍵字引數來選擇用於計算 SVD 的演算法。選擇驅動程式是在準確性和速度之間進行權衡。

如果 A 是良態的（其條件數不是太大），或者您不介意一些精度損失。
- 對於一般矩陣：‘gesvdj’ (Jacobi 方法)
- 如果 A 是高瘦或寬扁的（m >> n 或 m << n）：‘gesvda’ (近似方法)
如果 A 不是良態的或精度很重要：‘gesvd’ (基於 QR)

預設情況下（driver= None），我們呼叫 ‘gesvdj’，如果失敗，則回退到 ‘gesvd’。

與 numpy.linalg.svd 的區別

與 numpy.linalg.svd 不同，此函式始終返回一個包含三個張量的元組，並且不支援 compute_uv 引數。請使用 torch.linalg.svdvals()（它僅計算奇異值）而不是 compute_uv=False。

注意

當 full_matrices= True 時，將忽略關於 U[…, :, min(m, n):] 和 Vh[…, min(m, n):, :] 的梯度，因為這些向量可以是相應子空間的任意基。

警告

返回的張量 U 和 V 不是唯一的，也不是關於 A 連續的。由於這種非唯一性，不同的硬體和軟體可能會計算出不同的奇異向量。

這種非唯一性是由以下事實引起的：將任意一對奇異向量 $u_k, v_k$ 乘以 -1 (在實數情況下) 或乘以 $e^{i \phi}, \phi \in \mathbb{R}$ (在複數情況下) 會產生另外兩個有效的奇異向量。因此，損失函式不應依賴於這個 $e^{i \phi}$ 量，因為它不是良定義的。在計算此函式的梯度時，會針對複數輸入進行檢查。因此，當輸入是複數且在 CUDA 裝置上時，此函式的梯度計算會使該裝置與 CPU 同步。

警告

使用 U 或 Vh 計算的梯度僅在 A 沒有重複的奇異值時才為有限值。如果 A 是矩形的，此外，零也不能是其奇異值之一。此外，如果任何兩個奇異值之間的距離接近於零，則梯度將不穩定，因為它取決於奇異值 $\sigma_i$ 的計算，透過 $\frac{1}{\min_{i \neq j} \sigma_i^2 - \sigma_j^2}$

另請參閱

torch.linalg.svdvals() 僅計算奇異值。與 torch.linalg.svd() 不同，svdvals() 的梯度始終是數值穩定的。

對於計算矩陣另一種譜分解的函式，請使用 torch.linalg.eig()。特徵值分解僅適用於方陣。

對於計算 Hermitian 和對稱矩陣的特徵值分解的（更快的）函式，請使用 torch.linalg.eigh()。

對於另一個（快得多）適用於一般矩陣的分解，請使用 torch.linalg.qr()。

引數

A (Tensor) – 形狀為 (*, m, n) 的張量，其中 * 是零個或多個批處理維度。
full_matrices (bool, optional) – 控制是計算完整 SVD 還是約簡 SVD，以及相應地控制返回的張量 U 和 Vh 的形狀。預設值：True。

關鍵字引數

driver (str, optional) – 要使用的 cuSOLVER 方法的名稱。此關鍵字引數僅適用於 CUDA 輸入。可用選項為：None、gesvd、gesvdj 和 gesvda。預設值：None。
out (tuple, optional) – 輸出的三個張量組成的元組。如果為 None 則忽略。

返回

一個命名元組 (U, S, Vh)，對應於上面的 $U$ , $S$ , $V^{\text{H}}$ .

S 始終是實數值，即使 A 是複數。它也將按降序排序。

U 和 Vh 將具有與 A 相同的 dtype。左/右奇異向量將分別由 U 的列和 Vh 的行給出。

示例

>>> A = torch.randn(5, 3)
>>> U, S, Vh = torch.linalg.svd(A, full_matrices=False)
>>> U.shape, S.shape, Vh.shape
(torch.Size([5, 3]), torch.Size([3]), torch.Size([3, 3]))
>>> torch.dist(A, U @ torch.diag(S) @ Vh)
tensor(1.0486e-06)

>>> U, S, Vh = torch.linalg.svd(A)
>>> U.shape, S.shape, Vh.shape
(torch.Size([5, 5]), torch.Size([3]), torch.Size([3, 3]))
>>> torch.dist(A, U[:, :3] @ torch.diag(S) @ Vh)
tensor(1.0486e-06)

>>> A = torch.randn(7, 5, 3)
>>> U, S, Vh = torch.linalg.svd(A, full_matrices=False)
>>> torch.dist(A, U @ torch.diag_embed(S) @ Vh)
tensor(3.0957e-06)

torch.linalg.svd#

文件

教程

資源