Torchaudio 文件

Torchaudio 是一個用於 PyTorch 的音訊和訊號處理庫。它提供了訊號和資料處理函式、資料集、模型實現和應用元件。

注意

從 2.8 版本開始，我們已進入維護階段。因此

• 一些 API 在 2.8 版本中已被棄用，並在 2.9 版本中移除。

• PyTorch 對音訊和影片的解碼和編碼功能已合併到 TorchCodec 中。

請參閱 https://github.com/pytorch/audio/issues/3902 獲取更多資訊。

教程

---

使用 CUDA CTC Beam Search 解碼器進行 AM 推理

主題： Pipelines,ASR,CTC-Decoder,CUDA-CTC-Decoder

瞭解如何使用 torchaudio.models.decoder.cuda_ctc_decoder 透過 GPU 進行 ASR Beam Search 解碼。

CTC 強制對齊 API

主題： CTC,Forced-Alignment

瞭解如何使用 TorchAudio 的 CTC 強制對齊 API (torchaudio.functional.forced_align)。

多語言資料的強制對齊

主題： Forced-Alignment

瞭解如何使用 TorchAudio 的 CTC 強制對齊 API (torchaudio.functional.forced_align) 和多語言 Wav2Vec2 模型來對齊多語言資料。

使用限帶 sinc 插值進行音訊重取樣

主題： Preprocessing

瞭解如何使用 torchaudio.functional.resample 和 torchaudio.transforms.Resample 重取樣音訊張量。

音訊資料增強

主題： Preprocessing

瞭解如何使用 torchaudio.functional 和 torchaudio.transforms 模組進行資料增強。

音訊特徵提取

主題： Preprocessing

瞭解如何使用 torchaudio.functional 和 torchaudio.transforms 模組從波形中提取特徵。

音訊特徵增強

主題： Preprocessing

瞭解如何使用 torchaudio.functional 和 torchaudio.transforms 模組進行特徵增強。

音訊資料集

主題： Dataset

瞭解如何使用 torchaudio.datasets 模組。

使用 Wav2Vec2 進行 AM 推理

主題： ASR,wav2vec2

瞭解如何使用 Wav2Vec2 (torchaudio.pipelines.Wav2Vec2ASRBundle) 進行聲學模型推理。

使用 CTC Beam Search 解碼器進行 LM 推理

主題： Pipelines,ASR,wav2vec2,CTC-Decoder

瞭解如何使用詞典和語言模型，透過 torchaudio.models.decoder.ctc_decoder 進行 ASR Beam Search 解碼。

使用 Wav2Vec2 進行強制對齊

主題： Pipelines,Forced-Alignment,wav2vec2

瞭解如何使用 Wav2Vec 2 (torchaudio.pipelines.Wav2Vec2ASRBundle) 對齊文字到語音。

使用 Tacotron2 進行文字到語音轉換

主題： Pipelines,TTS-(Text-to-Speech)

瞭解如何使用 Tacotron2 (torchaudio.pipelines.Tacotron2TTSBundle) 從文字生成語音。

使用 MVDR 波束成形進行語音增強

主題： Pipelines,Speech-Enhancement

瞭解如何使用 MVDR Beamforming 提高語音質量。

使用 Hybrid Demucs 進行音樂源分離

主題： Pipelines,Source-Separation

瞭解如何使用預訓練的 Hybrid Demucs (torchaudio.pipelines.SourceSeparationBundle) 進行音樂源分離。

Torchaudio-Squim：TorchAudio 中的非侵入式語音評估

主題： Pipelines,Speech Assessment,Speech Enhancement

瞭解如何使用預訓練的 TorchAudio-SQUIM 模型 (torchaudio.pipelines.SQUIMObjective) 估計主觀和客觀指標。

引用 torchaudio

如果您覺得 torchaudio 有用，請引用以下論文：

• Hwang, J., Hira, M., Chen, C., Zhang, X., Ni, Z., Sun, G., Ma, P., Huang, R., Pratap, V., Zhang, Y., Kumar, A., Yu, C.-Y., Zhu, C., Liu, C., Kahn, J., Ravanelli, M., Sun, P., Watanabe, S., Shi, Y., Tao, T., Scheibler, R., Cornell, S., Kim, S., & Petridis, S. (2023). TorchAudio 2.1: Advancing speech recognition, self-supervised learning, and audio processing components for PyTorch. arXiv preprint arXiv:2310.17864

• Yang, Y.-Y., Hira, M., Ni, Z., Chourdia, A., Astafurov, A., Chen, C., Yeh, C.-F., Puhrsch, C., Pollack, D., Genzel, D., Greenberg, D., Yang, E. Z., Lian, J., Mahadeokar, J., Hwang, J., Chen, J., Goldsborough, P., Roy, P., Narenthiran, S., Watanabe, S., Chintala, S., Quenneville-Bélair, V, & Shi, Y. (2021). TorchAudio: Building Blocks for Audio and Speech Processing. arXiv preprint arXiv:2110.15018.

BibTeX 格式

@misc{hwang2023torchaudio,
   title={TorchAudio 2.1: Advancing speech recognition, self-supervised learning, and audio processing components for PyTorch},
   author={Jeff Hwang and Moto Hira and Caroline Chen and Xiaohui Zhang and Zhaoheng Ni and Guangzhi Sun and Pingchuan Ma and Ruizhe Huang and Vineel Pratap and Yuekai Zhang and Anurag Kumar and Chin-Yun Yu and Chuang Zhu and Chunxi Liu and Jacob Kahn and Mirco Ravanelli and Peng Sun and Shinji Watanabe and Yangyang Shi and Yumeng Tao and Robin Scheibler and Samuele Cornell and Sean Kim and Stavros Petridis},
   year={2023},
   eprint={2310.17864},
   archivePrefix={arXiv},
   primaryClass={eess.AS}
}

@article{yang2021torchaudio,
  title={TorchAudio: Building Blocks for Audio and Speech Processing},
  author={Yao-Yuan Yang and Moto Hira and Zhaoheng Ni and
          Anjali Chourdia and Artyom Astafurov and Caroline Chen and
          Ching-Feng Yeh and Christian Puhrsch and David Pollack and
          Dmitriy Genzel and Donny Greenberg and Edward Z. Yang and
          Jason Lian and Jay Mahadeokar and Jeff Hwang and Ji Chen and
          Peter Goldsborough and Prabhat Roy and Sean Narenthiran and
          Shinji Watanabe and Soumith Chintala and
          Vincent Quenneville-Bélair and Yangyang Shi},
  journal={arXiv preprint arXiv:2110.15018},
  year={2021}
}