使用圖中斷

建立時間：2025 年 7 月 28 日 | 最後更新時間：2025 年 7 月 28 日

您可能還記得（Dynamo 核心概念）[programming_model.dynamo_core_concepts] 中提到的，當 Dynamo 遇到無法追蹤的程式碼時，它會執行圖中斷。在預設的 torch.compile 設定下，Dynamo 會編譯到目前為止確定的 FX 圖，然後以常規 Python 方式執行不支援的程式碼，之後再恢復追蹤。

圖中斷使 Dynamo 能夠追蹤任意 Python 程式碼，並從中劃分出可單獨最佳化的功能子圖。

然而，圖中斷可能會導致 torch.compile 出現意外的效能下降。如果您沒有看到預期的加速效果，我們建議檢查圖中斷並將其移除。

接下來的部分將概述解決圖中斷的策略。

• 使用 fullgraph=True 來識別和消除圖斷點
  • 策略 1：重寫不支援的程式碼以使用 Dynamo 支援的功能
  • 策略 2：純函式可以透過逃生艙口始終編譯。
  • 策略 3：不編譯程式碼
• 常見圖斷點
  • 錯誤的程式碼
  • 資料依賴操作
  • 列印和日誌記錄
• 使用 torch._dynamo.nonstrict_trace
• 自定義運算元
• 使用 fullgraph=False
  • 在哪裡應用 torch.compile？
    • compile(model) vs model.compile()
  • 停用和抑制錯誤
  • 切換 error_on_graph_break
    • error_on_graph_break(False) 示例
    • error_on_graph_break(True) 示例
    • error_on_graph_break 巢狀行為
    • 與 fullgraph 的互動
    • fullgraph=True/False vs error_on_graph_break 總結
  • 巢狀圖中斷
  • 跳過的函式
    • 迴圈中的圖中斷
    • 上下文管理器中的圖中斷
    • Try 塊中的圖中斷
    • 達到重新編譯限制
    • 編譯器錯誤
    • 處理跳過的函式