‘壹’ 图像语义分割准确率度量方法总结
在探讨图像语义分割准确率的度量方法时,主要存在三种评价指标:PA、MPA与MIoU。首先,需要明确几个符号的含义。
其中,[公式] 代表类别总数,包括背景在内的总数。
而[公式] 则表示,对于真实像素类别为[公式]的像素,被预测为类别[公式]的总数量,即错分的数量。
[公式] 则表明,对于真实类别为[公式]的像素,其被预测为类别[公式]的总数量,即分对的数量。
PA(Pixel Accuracy)是衡量图像语义分割准确率的基础方法,计算方式简单,即所有分对像素的总数除以所有像素的总数。
MPA(Mean Pixel Accuracy)是对PA的改进,它先对每个类别分别计算PA,然后计算所有类别的PA平均值。
MIoU(Mean Intersection over Union)则是语义分割领域的标准评价指标。它对每个类别分别计算真实标签与预测结果的交并比(IOU),然后计算所有类别的平均值。相比PA与MPA,MIoU更注重整体准确率,且能更全面地反映不同类别间的准确度差异。
‘贰’ 图像分割常用指标及MIoU计算
语义图像分割结果,可分为True Positive、False Positive、True Negative、False Negative。
Negative指非物体标签的部分(可直接理解为背景),Positive指有标签的部分。
左上图为真实标注,右上图为预测结果。从右上图可以将预测结果分成对应的四个部分:
IoU(Intersection over Union)是一个评价目标检测、语义图像分割的不同方法的结果好坏的指标,用于比较模型结果(predicted output)与真实标注(ground truth)的相似程度。
IoU指标可以适用于Single-class的语义图像分割,但不适用于Multiple-class的语义图像分割。
以下是几种逐像素标记的精度标准。假设有k+1个类(其中包含一个空类或背景),i表示真实值,j表示预测值 ,p ij 表示将类i预测为类j的 像素数量 。即,p ii 表示TP,p ij 表示FN,p ji 表示FP,p jj 表示FN。
两个矩阵,一个代表实际的分割,另一个代表任何神经网络或模型的预测分割
这些矩阵的元素是表示图像上特定位置的像素所属的不同类别的标签。这里,共有 6 个类,标签为“0”、“1”、“2”、“3”、“4”和“5”,矩阵是 2D numpy 类型,每个大小为 (4 x 4)。
通过以下步骤,计算 MIoU:
步骤 1 :找出两个矩阵的每个类的频率计数(numpy 包中的“bincount”函数)
‘叁’ 什么是图像分割
1 数字图像处理技术是一个跨学科的领域。随着计算机科学技术的不断发展,图像处理和分析逐渐形成了自己的科学体系,新的处理方法层出不穷,尽管其发展历史不长,但却引起各方面人士的广泛关注。首先,视觉是人类最重要的感知手段,图像又是视觉的基础,因此,数字图像成为心理学、生理学、计算机科学等诸多领域内的学者们研究视觉感知的有效工具。其次,图像处理在军事、遥感、气象等大型应用中有不断增长的需求。
基于图论的图像分割技术是近年来国际上图像分割领域的一个新的研究热点。该方法将图像映射为带权无向图,把像素视作节点。利用最小剪切准则得到图像的最佳分割 该方法本质上将图像分割问题转化为最优化问题。是一种点对聚类方法。对数据聚类也具有很好的应用前景。但由于其涉及的理论知识较多,应用也还处在初级阶段。因此国内这方面的研究报道并不多见,本文将对图论方法用于图像分割的基本理论进行简要介绍,并对当前图论方法用于图像分割的最新研究进展进行综述,并着重介绍基于等周图割的图像分割的方法。
2 图像目标分割与提取技术综述
图像分割是一种重要的图像技术,在理论研究和实际应用中都得到了人们的广泛重视。图像分割的方法和种类有很多,有些分割运算可直接应用于任何图像,而另一些只能适用于特殊类别的图像。有些算法需要先对图像进行粗分割,因为他们需要从图像中提取出来的信息。例如,可以对图像的灰度级设置门限的方法分割。值得提出的是,没有唯一的标准的分割方法。许多不同种类的图像或景物都可作为待分割的图像数据,不同类型的图像,已经有相对应的分割方法对其分割,同时,某些分割方法也只是适合于某些特殊类型的图像分割。分割结果的好坏需要根据具体的场合及要求衡量。图像分割是从图像处理到图像分析的关键步骤,可以说,图像分割结果的好坏直接影响对图像的理解。
3 定义及分割方法
为后续工作有效进行而将图像划分为若干个有意义的区域的技术称为图像分割(Image Segmentation)
目前,有许多的图像分割方法,从分割操作策略上讲,可以分为基于区域生成的分割方法,基于边界检测的分割方法和区域生成与边界检测的混合方法.