[image-processing] “세분화”및 ​​”장면 라벨링”과 비교하여 “의미 적 세분화”는 무엇입니까?

이전 답변은 정말 훌륭합니다. 몇 가지 추가 사항을 더 지적하고 싶습니다.

개체 분할

이것이 연구 커뮤니티에서 선호되지 않는 이유 중 하나는 문제가 모호하기 때문입니다. 객체 분할은 단순히 이미지에서 하나 또는 적은 수의 객체를 찾고 그 주위에 경계를 그리는 것을 의미하며, 대부분의 경우 여전히 이것이 의미한다고 가정 할 수 있습니다. 그러나 그것은 또한 개체 일 수 있는 Blob의 세분화 , 배경에서 개체의 세분화를 의미하는 데 사용되기 시작했습니다. (더 일반적으로 배경 빼기 또는 배경 분할 또는 전경 감지라고 함), 어떤 경우에는 경계 상자를 사용하여 객체 인식과 상호 교환하여 사용하기도합니다 (이는 객체 인식에 대한 심층 신경망 접근 방식의 출현으로 빠르게 중단되었지만, 사전에 객체 인식도 가능할 수 있습니다. 단순히 전체 이미지에 개체를 포함하는 레이블을 지정하는 것을 의미합니다.)

“세분화”를 “의미 적”으로 만드는 것은 무엇입니까?

Simpy, 각 세그먼트 또는 각 픽셀의 딥 메소드의 경우 카테고리에 따라 클래스 레이블이 제공됩니다. 일반적으로 분할은 일부 규칙에 따라 이미지를 분할하는 것입니다. 예를 들어, 매우 높은 수준의 Meanshift 분할은 이미지 에너지의 변화에 ​​따라 데이터를 분할합니다. 그래프 컷기반 세분화는 유사하게 학습되지 않고 나머지 이미지와 분리 된 각 이미지의 속성에서 직접 파생됩니다. 보다 최근의 (신경망 기반) 방법은 레이블이 지정된 픽셀을 사용하여 특정 클래스와 관련된 로컬 특징을 식별 한 다음 해당 픽셀에 대해 가장 높은 신뢰도를 갖는 클래스를 기준으로 각 픽셀을 분류합니다. 이런 식으로 “픽셀 레이블링”은 실제로 작업에 대한보다 정직한 이름이며 “세분화”구성 요소가 등장합니다.

인스턴스 분할

개체 분할의 가장 어렵고 관련성이 높으며 원래 의미 인 “인스턴스 분할”은 동일한 유형인지 여부에 관계없이 장면 내의 개별 개체를 분할하는 것을 의미합니다. 그러나 이것이 그렇게 어려운 이유 중 하나는 비전 관점 (그리고 어떤면에서는 철학적 관점)에서 “객체”인스턴스를 만드는 것이 완전히 명확하지 않기 때문입니다. 신체 부위가 물체입니까? 이러한 “부분 개체”는 인스턴스 분할 알고리즘에 의해 전혀 분할되어야합니까? 전체에서 분리되어 보이는 경우에만 분할되어야합니까? 복합 물체는 두 물체가 명확하게 연결되어 있어야하지만 분리 가능한 물체는 하나 또는 두 개 여야합니다 (바위가 제대로 만들어지지 않은 경우 막대기 위에 도끼, 망치 또는 막대기와 바위 만 붙어 있습니까?). 또한 인스턴스를 구별하는 방법을 명확하게합니다. 유언장은 부착 된 다른 벽과 별개의 인스턴스입니까? 인스턴스는 어떤 순서로 계산되어야합니까? 그들이 나타나는대로? 관점에 근접? 이러한 어려움에도 불구하고, 물체의 분할은 여전히 ​​큰 문제입니다. 인간으로서 우리는 “계급 레이블”에 관계없이 항상 물체와 상호 작용하기 때문입니다. 그래서 일부 데이터 세트는이 문제를 해결하려고 시도하지만, 아직 문제에 대해 많은 관심을 기울이지 않는 주된 이유는 충분히 정의되지 않았기 때문입니다.

장면 구문 분석 / 장면 레이블 지정

Scene Parsing은 씬 라벨링에 대한 엄격한 세분화 접근 방식으로, 자체 모호성 문제도 있습니다. 역사적으로 장면 레이블링은 전체 “장면”(이미지)을 세그먼트로 나누고 모든 클래스 레이블을 부여하는 것을 의미했습니다. 그러나 명시 적으로 분할하지 않고 이미지 영역에 클래스 레이블을 부여하는데도 사용되었습니다. 분할과 관련하여 “의미 적 분할” 은 전체 장면을 분할하는 것을 의미 하지 않습니다 . 의미 론적 세분화의 경우 알고리즘은 알고있는 객체 만 세분화하도록되어 있으며 레이블이없는 픽셀에 레이블을 지정하면 손실 함수에 의해 불이익을받습니다. 예를 들어 MS-COCO 데이터 세트는 일부 개체 만 분할되는 의미 론적 분할을위한 데이터 세트입니다.