maskrcnn_resnet50_fpn

torchvision.models.detection.maskrcnn_resnet50_fpn(*, weights: Optional[MaskRCNN_ResNet50_FPN_Weights] = None, progress: bool = True, num_classes: Optional[int] = None, weights_backbone: Optional[ResNet50_Weights] = ResNet50_Weights.IMAGENET1K_V1, trainable_backbone_layers: Optional[int] = None, **kwargs: Any) → MaskRCNN

來自 Mask R-CNN 論文的帶 ResNet-50-FPN 主幹的 Mask R-CNN 模型。

警告

檢測模組處於 Beta 階段，不保證向後相容。

模型輸入預期為張量列表，每個張量的形狀為 [C, H, W]，對應一張影像，並且應在 0-1 範圍內。不同的影像可以具有不同的尺寸。

模型的行為取決於它處於訓練模式還是評估模式。

在訓練期間，模型期望輸入張量和目標（字典列表），包含：

• boxes (FloatTensor[N, 4]): 真實框，格式為 [x1, y1, x2, y2]，其中 0 <= x1 < x2 <= W 且 0 <= y1 < y2 <= H。

• labels（Int64Tensor[N]）：每個真實框的類別標籤。

• masks（UInt8Tensor[N, H, W]）：每個例項的分割二值掩碼

訓練期間，模型返回一個 Dict[Tensor]，其中包含 RPN 和 R-CNN 的分類和迴歸損失，以及掩碼損失。

推理期間，模型僅需要輸入張量，並以 List[Dict[Tensor]] 的形式返回後處理的預測結果，每個輸入影像一個。 Dict 的欄位如下，其中 N 是檢測到的例項數量。

• boxes (FloatTensor[N, 4]): 預測框，格式為 [x1, y1, x2, y2]，其中 0 <= x1 < x2 <= W 且 0 <= y1 < y2 <= H。

• labels（Int64Tensor[N]）：每個例項的預測標籤

• scores（Tensor[N]）：每個例項的分數

• masks（UInt8Tensor[N, 1, H, W]）：每個例項的預測掩碼，在 0-1 範圍內。為了獲得最終的分割掩碼，可以將軟掩碼閾值化，通常使用 0.5 的值（mask >= 0.5）。

有關輸出和如何繪製掩碼的更多詳細資訊，請參閱 例項分割模型。

Mask R-CNN 可匯出為 ONNX，支援固定批次大小和固定大小的輸入影像。

示例

>>> model = torchvision.models.detection.maskrcnn_resnet50_fpn(weights=MaskRCNN_ResNet50_FPN_Weights.DEFAULT)
>>> model.eval()
>>> x = [torch.rand(3, 300, 400), torch.rand(3, 500, 400)]
>>> predictions = model(x)
>>>
>>> # optionally, if you want to export the model to ONNX:
>>> torch.onnx.export(model, x, "mask_rcnn.onnx", opset_version = 11)

引數:

• weights（MaskRCNN_ResNet50_FPN_Weights，可選）– 要使用的預訓練權重。有關更多詳細資訊和可能的值，請參閱下面的 MaskRCNN_ResNet50_FPN_Weights。預設情況下，不使用預訓練權重。

• progress (bool, optional) – 如果為 True，則在 stderr 上顯示下載進度條。預設為 True。

• num_classes (int, 可選) – 模型的輸出類別數（包括背景）

• weights_backbone (ResNet50_Weights, 可選) – 主幹的預訓練權重。

• trainable_backbone_layers (int, 可選) – 從最後一個塊開始的可訓練（非凍結）層數。有效值介於 0 和 5 之間，5 表示所有主幹層都可訓練。如果傳入 None（預設值），則此值設定為 3。

• **kwargs – 傳遞給 torchvision.models.detection.mask_rcnn.MaskRCNN 基類的引數。有關此類的更多詳細資訊，請參閱 原始碼。

class torchvision.models.detection.MaskRCNN_ResNet50_FPN_Weights(value)

上面的模型構建器接受以下值作為 weights 引數。 MaskRCNN_ResNet50_FPN_Weights.DEFAULT 等同於 MaskRCNN_ResNet50_FPN_Weights.COCO_V1。您也可以使用字串，例如 weights='DEFAULT' 或 weights='COCO_V1'。

MaskRCNN_ResNet50_FPN_Weights.COCO_V1:

這些權重是透過遵循與論文中類似的訓練配方生成的。也可用作 MaskRCNN_ResNet50_FPN_Weights.DEFAULT。

box_map (在 COCO-val2017 上)	37.9
mask_map (在 COCO-val2017 上)	34.6
類別	__background__, person, bicycle, … (省略 88 個)
min_size	height=1, width=1
引數數量	44401393
方案	連結
GFLOPS	134.38
檔案大小	169.8 MB

推理轉換可在 MaskRCNN_ResNet50_FPN_Weights.COCO_V1.transforms 處找到，並執行以下預處理操作：接受 PIL.Image，批處理的 (B, C, H, W) 和單個 (C, H, W) 影像 torch.Tensor 物件。影像將被縮放到 [0.0, 1.0]。

maskrcnn_resnet50_fpn 的示例

視覺化工具

視覺化工具