一.注意事项
1.本文主要是引用大佬的文章（侵权请联系，马上删除），做的工作为简单补充
二.介绍
①简介：
Mask R-CNN（Mask Region-based Convolutional Neural Network）是一种用于目标检测和语义分割的深度学习模型，它是对 Faster R-CNN 模型的扩展。Mask R-CNN 可以同时预测目标的边界框和像素级的掩码，从而实现了对图像中对象的精确定位和分割。
Mask R-CNN 的架构包括三个主要组件：
（1）Backbone Network：通常使用的是预训练的卷积神经网络（如 ResNet、ResNeXt、或者 MobileNet），用于提取输入图像的特征。
（2）Region Proposal Network (RPN)：RPN 在输入图像上滑动，并提出候选的对象边界框。这些边界框被用来定位图像中的目标。
（3）Mask Head：Mask Head 是 Mask R-CNN 的关键部分，它在每个候选的对象边界框周围生成目标的像素级掩码。这个过程可以视为是对边界框中的像素进行分类，从而确定哪些像素属于目标对象。
Mask R-CNN 的训练过程涉及到多个损失函数，包括目标检测的边界框损失和语义分割的掩码损失。这些损失函数共同作用于网络的不同部分，以确保网络能够准确地检测目标的位置和分割对象的像素。
Mask R-CNN 在许多计算机视觉任务中取得了state-of-the-art的结果，如图像分割、实例分割、和目标检测。它被广泛应用于医学图像分析、自动驾驶、视频分析等领域。
②流程图：
③结构图
④效果图：
（理论知识建议阅读：【Mask RCNN】论文详解(真的很详细)_mask rcnn论文-CSDN博客）
三.正文
1.大体流程按照:
使用Mask_RCNN训练自己数据_哔哩哔哩_bilibili
2.准备工作:
①视频中getdata代码
import json
import os
import numpy as np
path = 'image/val'
files = []
# 找到所有的 JSON 文件
for file in os.listdir(path):
if file.endswith('.json'):
files.append(file)
via_region_data = {}
# 遍历每个 JSON 文件
for file in files:
# 读取 JSON 文件内容
with open(os.path.join(path, file)) as f:
data = json.load(f)
one_image = {}
one_image['filename'] = file.split('.')[0] + '.jpg'
regions = {}
# 处理每个区域
for i, shape in enumerate(data['shapes']):
points = np.array(shape['points'])
all_points_x = list(points[:, 0])
all_points_y = list(points[:, 1])
regions[str(i)] = {
'region_attributes': {},
'shape_attributes': {
'name': shape['label'],
'all_points_x': all_points_x,
'all_points_y': all_points_y
}
}
one_image['regions'] = regions
one_image['size'] = 0 # 这里可能需要根据实际情况修改
via_region_data[file] = one_image
# 将数据保存到 JSON 文件中
with open('image/val/via_region_data.json', 'w') as f:
json.dump(via_region_data, f, sort_keys=False, ensure_ascii=True)
（注意：val/train一定要自己修改）
②视频中的predicton代码
import cv2
image=cv2.imread('images/val/pig5.jpg')
from mrcnn.config import Config
from mrcnn import model as modellib,utils
class BalloonConfig(Config):
NAME = 'balloon'
IMAGES_PER_GPU = 1
NUM_CLASSES = 1+1
DETECTION_MIN_CONFIDENCE = 0.8
config=BalloonConfig()
model=modellib.MaskRCNN(mode='inference',config=config,model_dir='logs')
model.load_weights(r'logs\balloon20240502T2045\mask_rcnn_balloon_0003.h5',by_name=True)
result=model.detect([image])
class_names=['BG','pig']
from mrcnn.visualize import display_instances
display_instances(image, result[0]['rois'],result[0]["masks"], result[0]['class_ids'], class_names,
scores=None, title="",
figsize=(16, 16), ax=None,
show_mask=True, show_bbox=True,
colors=None, captions=None)
3.结果式样
（本人标签打的不好所以结果不是特别理想）
