歡迎來到 torchao 文件

torchao 是一個用於自定義資料型別和最佳化的庫。使用原生 PyTorch 量化和稀疏化權重、梯度、最佳化器和啟用，以用於推理和訓練。請檢視 torchao README 以瞭解該庫的整體介紹以及最新的亮點和更新。

入門指南

• 快速入門指南

開發者須知

• 量化概述
• 貢獻者指南
• 稀疏性概述
• 基準測試 API 指南
• 基準測試使用者指南

API 參考

• torchao.dtypes
• torchao.quantization
• torchao.quantization.qat
• torchao.sparsity
• torchao.float8
• torchao.utils
• torchao.quantization.quantize_.common

Eager 模式量化教程

• （第 1 部分）使用 float8 進行預訓練
• （第 2 部分）使用 QAT、QLoRA 和 float8 進行微調
• （第 3 部分）在 vLLM、SGLang、ExecuTorch 上提供服務
• 與 VLLM 的整合：架構和使用指南
• 序列化
• 靜態量化
• 編寫自己的量化張量
• 編寫自己的量化張量（高階）

PT2E 量化教程

• PyTorch 2 匯出訓練後量化
• PyTorch 2 匯出量化感知訓練 (QAT)
• 透過 Inductor 使用 X86 後端進行 PyTorch 2 匯出量化
• 透過 Inductor 使用 Intel GPU 後端進行 PyTorch 2 匯出量化
• 用於 OpenVINO torch.compile 後端的 PyTorch 2 匯出量化
• 如何為 PyTorch 2 匯出量化編寫 Quantizer