分割掩模 VS 掩膜

news/2024/4/17 8:44:50

  • 掩膜 Mask
  • 分割掩模 Segmentation Mask
  • 总结
  • 示例

掩膜 Mask

“掩膜” 是指一种用于 标识或遮蔽图像中特定区域图像

在这里插入图片描述

在图像处理中,掩膜通常是一个 二值图像,其中的 像素值为 0 或 1binary Mask 叫做二元掩膜,如下图所示:

在这里插入图片描述

  • 这种二值图像 与原始图像具有相同的尺寸
  • 仅在目标区域的位置上有非零值

掩膜的目的是 突出或选择感兴趣的区域,以便进行进一步的处理或分析。

在这里插入图片描述

比如我想要好好研究椰子树,那我把 原始图像中椰子树 的部分对应着的 掩膜 的值设为 1,其余设为 0。

从图中可以看出,经过掩膜处理之后,除了 原始图像中椰子树 的部分对应着 掩膜 中的 1 值 而保持不变,其他的部分都被 掩膜 中的 0 值覆盖了,剩余的椰子树就是想要进一步分析或处理的部分。

分割掩模 Segmentation Mask

与掩膜相关的概念中,“分割掩模” 通常指的是一个用于 标识图像中不同物体或区域掩膜

分割掩模 是一种图像处理的技术,它 可以将图像中的不同对象分离出来生成对应的二值图或多值图,表示每个对象的位置和形状

在这里插入图片描述

分割掩模通常是一个 二值图像

  • 与原始图像有相同的大小和分辨率
  • 只有两种像素值,0或1。0 表示掩膜区域,1 表示非掩膜区域。
  • 通过 将分割掩模与原始图像相乘,就可以得到分割后的图像,其中 掩膜区域的像素值为 0,非掩膜区域的像素值保持不变

图像分割 任务中,每个目标对象 都可以 用一个独特的分割掩模 来表示。

  • 其中 像素值为 1 的区域表示 属于目标对象 的部分,
  • 像素值为 0 的区域表示 不属于目标对象 的部分。

总结

分割掩模和掩膜是两个相关但不完全相同的概念。

  • 分割掩模 是一种图像处理的技术,它可以 将图像中的不同对象分离出来,生成对应的二值图或多值图,表示每个对象的位置和形状
  • 掩膜 是一种用于 覆盖或遮挡图像的特定图像,它可以 控制图像处理的区域

分割掩模和掩膜的联系是,分割掩模可以作为掩膜的一种输入,用于提取或裁剪图像中的特定区域


例如,如果我们想要从一张图像中 提取出人脸 的部分,

  • 我们可以 先用分割掩模的方法识别出人脸的边界
  • 然后 用这个分割掩模作为掩膜对原始图像进行掩膜提取或裁剪

得到只包含人脸的图像。

如果你想用分割掩模的方法识别出人脸的边界,

  • 首先,需要用一个人脸检测的工具,如 dlib 或 opencv,来定位图像中的人脸区域,并得到人脸的坐标和大小。
  • 然后,需要用一个人脸关键点的工具,如 dlib 或 opencv,来检测人脸的特征点,如眼睛,鼻子,嘴巴等,并得到这些点的坐标。
  • 接着,需要用一个凸包的算法,如 opencv 的 convexHull,来根据人脸的特征点生成一个凸多边形,这个多边形就是人脸的边界。
  • 最后,需要用一个掩膜的技术,如 opencv 的 bitwise_and,来根据人脸的边界抠出人脸的部分,生成一个二值图或多值图,表示人脸的位置和形状。

这是一个简单的示例,也可以参考一些更高级的分割掩模的方法,如基于深度学习的语义分割或实例分割,来提高人脸边界的精度和鲁棒性。

示例

比如上图中的椰子树,我怎么知道掩膜该设成什么值才能提取出椰子树呢?

这需要用到一个叫做 目标检测 的技术,它可以 识别和定位图像中的不同对象,并 用边框标出它们的位置和类别

目标检测的原理是,

  • 首先用一个 深度神经网络来提取图像中的特征,这些特征可以描述图像中的纹理、形状、颜色等信息。
  • 然后用一个 分类器来判断每个特征是否属于某个对象,例如椰子树、汽车、人等。分类器可以是一个全连接层,也可以是一个卷积层,或者是一个更复杂的结构,如注意力机制、图神经网络等。
  • 最后用一个 回归器来调整边框的大小和位置,使其更准确地覆盖对象。回归器可以是一个全连接层,也可以是一个卷积层,或者是一个更复杂的结构,如锚框、特征金字塔等。

目标检测的工具和方法有很多,例如:

  • 基于 区域提议 的方法,如 R-CNN、Faster R-CNN、Mask R-CNN 等,它们先用一个网络或者一个算法 生成一些候选的区域,然后 对每个区域进行分类和回归,得到最终的检测结果。
  • 基于 回归 的方法,如 YOLO、SSD、RetinaNet 等,它们直接 从图像中心点预测对象的类别和边框,一次性完成检测任务,速度更快,但精度稍低。
  • 基于 分割 的方法,如 FCOS、SOLO、DETR 等,它们不使用锚框或者区域提议,而是用一个全卷积网络或者一个 Transformer 网络来 生成一个密集的分割掩码,表示每个像素属于哪个对象,然后根据掩码得到对象的类别和边框。

例如,下图是一个目标检测的结果,它用不同颜色的边框标出了图像中的狗和车,并用文字标注了它们的类别和置信度。

在这里插入图片描述

有了目标检测的结果,就可以根据用户的需求来 生成相应的分割掩模

例如,想要 提取图像中的狗狗

  • 就可以先用一个 全为 0 的分割掩模 来覆盖图像中的所有区域,
  • 然后 根据狗狗的边框的位置和大小,将 分割掩模中对应的区域的像素值设为 1

这样就可以得到一个只包含狗狗的分割掩模。

-> 一个在线的分割掩模工具(在线抠图)
-> 如何用 opencv 的 grabCut 算法来生成一个分割掩模,然后用它来提取图像中的前景对象


https://www.xjx100.cn/news/3119038.html

相关文章

Docker的数据持久化;Docker网络;Dockerfile编写

Docker的数据持久化;Docker网络;Dockerfile编写; 文章目录 Docker的数据持久化;Docker网络;Dockerfile编写;**Docker的数据持久化**1)将本地目录映射到容器里2)数据卷3)将…

【Node.js】笔记整理 3 -npm

写在最前:跟着视频学习只是为了在新手期快速入门。想要学习全面、进阶的知识,需要格外注重实战和官方技术文档,文档建议作为手册使用 系列文章 【Node.js】笔记整理 1 - 基础知识【Node.js】笔记整理 2 - 常用模块【Node.js】笔记整理 3 - n…

Flutter之MQTT使用

1.添加依赖: 首先,需要在Flutter项目的​​pubspec.yaml​​​文件中添加​​mqtt_client​​依赖。 dependencies:#https://pub.dev/packages/mqtt_clientmqtt_client: ^10.0.02.创建MQTT客户端并连接到MQTT服务器:2.创建一个MQTT客户端实例来进行连接和通信 Fu…

NoSql非关系型数据库

前言:Nosql not only sql,意即“不仅仅是sql”,泛指非关系型数据库。这些类型的数据存储不需要固定的模式(当然也有固定的模式),无需多余的操作就可以横向扩展。NoSql数据库中的数据是使用聚合模型来进行处…

Linux-hid

/kernel/drivers/hid/hid-core.c hid总线驱动/kernel/drivers/hid/hid-generic.c hid通用驱动/kernel/drivers/hid/hid-multitouch.c 多点触控面板驱动/kernel/drivers/hid/hid-quirks.c hid-quirks.c 是 Linux 内核中的一个文件,用于实现 HID(Human…

LangChain 15根据问题自动路由Router Chain确定用户的意图

LangChain系列文章 LangChain 实现给动物取名字,LangChain 2模块化prompt template并用streamlit生成网站 实现给动物取名字LangChain 3使用Agent访问Wikipedia和llm-math计算狗的平均年龄LangChain 4用向量数据库Faiss存储,读取YouTube的视频文本搜索I…

推荐一款好用的BMP转PNG工具BMP2PNG

推荐一款好用的BMP转PNG工具BMP2PNG 自己写的一个BMP转PNG工具BMP2PNG 写这个工具是因为要使用传奇的部分素材在COCOS2DX使用, 但是COCOS2DX不支持BMP 如果直接将BMP转换到PNG的话,网上找到的工具都不支持透明色转换。难道要用PS一个一个抠图吗&#xf…

普中STM32 单片机资料

普中科技–各型号开发板资料下载链接: ①普中-精灵1开发板: 百度网盘链接:https://pan.baidu.com/s/1Pa8Ep1xmg6uoq17O6Nwyyw?pwd=1234 提取码:1234 ②普中-ESP32开发板: 百度网盘链接:https://pan.baidu.com/s/16VthcbW27oEWp162H3bi6Q?pwd=1234 提取码:1234 一…