torch.compile 程式設計模型

創建於：2025年7月28日 | 最後更新於：2025年7月29日

torch.compile 程式設計模型

1. 闡明瞭 torch.compile 的一些內部行為，以便使用者更好地預測編譯器在使用者程式碼上的行為，並

2. 提供了使用者對 torch.compile 進行更精細控制的方法。

透過理解 torch.compile 程式設計模型，使用者在遇到 torch.compile 問題時，可以系統性地解決這些問題。

• Dynamo 核心概念
  • Dynamo 追蹤
  • 圖中斷
  • Guard
  • 重新編譯
  • 動態形狀
• 使用圖斷點
  • 使用 fullgraph=True 來識別和消除圖斷點
    • 策略 1：重寫不支援的程式碼以使用 Dynamo 支援的功能
    • 策略 2：純函式可以透過逃生艙口始終編譯。
    • 策略 3：不編譯程式碼
  • 常見圖斷點
    • 錯誤的程式碼
    • 資料依賴操作
    • 列印和日誌記錄
  • 使用 torch._dynamo.nonstrict_trace
  • 自定義運算元
  • 使用 fullgraph=False
    • 在哪裡應用 torch.compile？
      • compile(model) vs model.compile()
    • 停用和抑制錯誤
    • 切換 error_on_graph_break
      • error_on_graph_break(False) 示例
      • error_on_graph_break(True) 示例
      • error_on_graph_break 巢狀行為
      • 與 fullgraph 的互動
      • fullgraph=True/False vs error_on_graph_break 總結
    • 巢狀圖中斷
    • 跳過的函式
      • 迴圈中的圖中斷
      • 上下文管理器中的圖中斷
      • Try 塊中的圖中斷
      • 達到重新編譯限制
      • 編譯器錯誤
      • 處理跳過的函式
• 非嚴格追蹤程式設計模型
  • 純函式
    • 示例 1：無顯式輸入（例如，訪問全域性張量）
    • 示例 2：副作用（列印）
    • 示例 3：副作用（列表變異）
    • 無直接 data_ptr 操作
  • 特化和常量
• 處理重新編譯
  • 動態形狀是否啟用？
  • 使用張量包裝常量
  • 更改快取大小限制
  • 透過圖中斷來降低重新編譯成本
• tlparse / TORCH_TRACE
  • TORCH_LOGS
  • tlparse vs. TORCH_LOGS
• 報告問題
  • 消融
  • 二分法
  • 建立可復現示例