Урок 34. Семантическая сегментация

Классификатор говорит, что на картинке кошка. Сегментация показывает, какие именно пиксели — кошка, а какие — фон. Ответ становится не одним ярлыком на всё изображение, а картой того же размера: своя метка каждому пикселю. И мерить такой ответ приходится иначе — не точностью, а перекрытием.

Ярлык каждому пикселю

В уроке о распознавании сеть выдавала один ответ на всю картинку: цифра $5$ . Но многие задачи требуют большего. Беспилотнику мало знать, что впереди есть дорога, — ему нужно, где именно она проходит, пиксель за пикселем. Врачу мало знать, что на снимке есть опухоль, — нужны её точные границы. Это задача семантической сегментации: приписать класс каждому пикселю.

Выход сегментации — не число, а маска: изображение того же размера, где цвет каждого пикселя кодирует его класс. Различают два родственных понятия. Семантическая сегментация красит все машины в один цвет «машина», не отделяя одну от другой. Сегментация экземпляров идёт дальше и различает машину №1 и машину №2 — но это уже следующий шаг; здесь нам довольно классов. Заметим и разницу с детекцией, о которой пойдёт речь позже: та обводит объект грубой рамкой, а сегментация очерчивает его точно, по контуру.

Изображение в маску

Увидим маску на настоящем снимке. Простейший способ сегментации — сгруппировать пиксели по цвету: похожие цвета — один класс.

Три панели: исходное фото, версия сгруппированная по цвету, и дискретная маска классов, где фон, лицо, тёмная форма и светлые детали окрашены разными сплошными цветами — Рис. 34.1. Каждому пикселю — свой класс
Слева фото, справа маска: фон, лицо, тёмная форма, светлые детали окрашены разными сплошными цветами — это и есть классы пикселей. Классификация дала бы один ярлык на всё; сегментация даёт карту.

Энкодер и декодер

Как устроить сеть, которая выдаёт карту, а не число? Нужна форма, которая сперва сожмёт изображение, чтобы понять его содержание, а потом развернёт обратно до полного разрешения, чтобы разметить каждый пиксель. Это архитектура энкодер—декодер, а её знаменитый вариант — U-Net.

Схема буквой U: энкодер из сжимающихся блоков слева, бутылочное горло внизу, декодер из расширяющихся блоков справа; красные пунктирные короткие пути соединяют одноуровневые блоки энкодера и декодера — Рис. 34.2. Энкодер—декодер (U-Net)
Энкодер (слева) сжимает картинку, как знакомый конус свёрточной сети, добывая «что на картинке». Декодер (справа) расширяет её обратно до полного размера, восстанавливая «где именно». Красные короткие пути (skip) возвращают декодеру точные границы, потерянные при сжатии.

Короткие пути — ключевая находка U-Net. При сжатии теряется точное положение, зато проясняется смысл; при расширении смысл есть, но границы размыты. Skip-связи склеивают одно с другим: смысл из глубины, точные границы из ранних слоёв с их краями.

УпражнениеЗачем короткие пути

Уберём из U-Net все skip-связи, оставив только энкодер и декодер. Маска станет размытой по границам, хотя классы в целом угаданы верно. Объясните, почему именно границы страдают сильнее всего и что возвращают skip-связи.

Сверить рассуждение

Энкодер, сжимая картинку, огрубляет положение: к бутылочному горлу от точных координат границы почти ничего не остаётся, зато ясен смысл области. Декодер, разворачивая это грубое представление, может лишь приблизительно очертить край — отсюда размытость. Skip-связи приносят декодеру карты ранних слоёв, где границы ещё резкие и точные, и он накладывает верный смысл на точные очертания. Классы (что) страдают мало, а границы (где) — сильно, потому что именно точное положение теряется при сжатии.

IoU вместо точности

Чем измерить качество маски? Казалось бы, пиксельной точностью — долей верно размеченных пикселей. Но она обманывает. Представьте снимок, где дорога занимает лишь $2\%$ пикселей. Модель, назвавшая всё фоном, ошибётся лишь на этих $2\%$ — и получит $98\%$ точности, не найдя дороги вовсе.

Слева две пересекающиеся маски истины и предсказания с формулой IoU равно пересечение делить на объединение равно 80 из 120 равно 0,67; справа столбцы: для объекта в 2, 5, 10, 30 процентов пиксельная точность 98, 95, 90, 70 процентов, а IoU объекта везде ноль — Рис. 34.3. IoU честнее точности
Слева — что такое IoU: площадь пересечения масок, делённая на площадь объединения. Справа — обман точности: для крошечного объекта ответ «всё фон» даёт высокую точность, но IoU объекта равен нулю. Оттого сегментацию меряют перекрытием, а не точностью.

\mathrm{IoU}=\frac{|\text{предсказано}\cap\text{истина}|} {|\text{предсказано}\cup\text{истина}|}.

IoU равен единице при идеальном совпадении и нулю при непересечении. Он не даёт схитрить, назвав всё фоном: пустое предсказание пересекается с объектом на нуле.

УпражнениеТочность против IoU

На снимке дорога занимает $5\%$ пикселей. Модель $A$ помечает всё как фон. Модель $B$ находит половину дороги без ложных срабатываний. Посчитайте пиксельную точность и IoU дороги для каждой. Какая метрика верно скажет, что $B$ лучше?

Сверить вычисление

Модель $A$ : точность $95\%$ (ошиблась лишь на $5\%$ дороги), но IoU $=0$ — пересечение с дорогой пусто. Модель $B$ : нашла половину дороги, ложных нет, значит пересечение $=$ половина дороги, объединение $=$ вся дорога, IoU $=0{,}5$ ; пиксельная точность $\approx97{,}5\%$ (ошиблась на пропущенной половине дороги, $2{,}5\%$ ). По точности модели почти неразличимы ( $95$ против $97{,}5$ ), а по IoU разница огромна ( $0$ против $0{,}5$ ) — только IoU верно показывает, что $B$ нашла дорогу, а $A$ нет.

Малый объект тонет в точности

Этот обман тем сильнее, чем мельче объект. Опухоль на снимке, трещина на детали, лодка на спутниковом кадре занимают доли процента пикселей — и пиксельная точность к ним почти слепа.

УпражнениеКакую метрику выбрать

Вы сегментируете редкие лесные пожары на спутниковых снимках — они занимают менее процента кадра. Заказчик хвалится точностью $99{,}5\%$ . Почему это число почти ничего не говорит, и что нужно спросить вместо него?

Сверить рассуждение

При объекте меньше процента даже модель «пожаров нет» даст точность выше $99\%$ — она просто угадывает вездесущий фон. Число $99{,}5\%$ не отличает рабочую модель от бесполезной. Спросить нужно IoU (или Dice) по классу «пожар»: именно он показывает, какую долю настоящих пожаров модель находит и не путает ли с фоном. Для редких объектов метрика должна считать объект, а не фон.

IoU и Dice

У перекрытия две близкие меры. IoU (Жаккар) делит пересечение на объединение. Dice делит удвоенное пересечение на сумму площадей и чуть мягче штрафует. Они однозначно связаны, так что выбор — дело привычки области.

УпражнениеПеревести IoU в Dice

Модель дала IoU $=0{,}6$ по классу «сосуд» на медицинском снимке. Чему равен Dice по формуле $\mathrm{Dice}=2\,\mathrm{IoU}/(1+\mathrm{IoU})$ ? Почему Dice всегда не меньше IoU?

Сверить вычисление

$\mathrm{Dice}=2\cdot0{,}6/(1+0{,}6)=1{,}2/1{,}6=0{,}75$ . Dice всегда не меньше IoU, потому что $2\,\mathrm{IoU}/(1+\mathrm{IoU})\ge\mathrm{IoU}$ при $\mathrm{IoU}\le1$ : знаменатель $1+\mathrm{IoU}\le2$ , а числитель вдвое больше пересечения. Оттого Dice — более «щедрая» мера того же перекрытия, и одну нельзя путать с другой в отчётах.

География, а не тайлы

Сегментация спутниковых снимков — огромная область: размечать леса, поля, дороги, застройку. Но здесь особенно легко обмануться утечкой. Соседние тайлы одного города почти одинаковы, и если раскидать их случайно между обучением и тестом, модель подсмотрит ответ у соседа.

Русская линия: геометрия пикселя

Сегментация упирается в тонкий вопрос: что такое граница и связная область на дискретной пиксельной сетке? Строгую цифровую геометрию для этого развивал советский математик Владимир Ковалевский. Он показал, как корректно определить границы, связность и области на решётке пикселей, избежав парадоксов наивного подхода, — и заложил математический язык, на котором сегодня описывают маски сегментации.

Работы Ковалевского и советской школы анализа изображений напоминают: за красивой маской стоит нетривиальная математика дискретного пространства, и аккуратность в ней так же важна, как мощь нейросети.

Лаборатория сегментации

Порядок опытов. Перед вами настоящий снимок и его маска, где цвет каждого пикселя — это класс. Двигайте число классов: при двух картинка грубо делится на светлое и тёмное, при шести проступают тонкие области — лицо, фон, форма, награды. Табло показывает, какую долю кадра занимает крупнейшая область. Здесь классы находит группировка по цвету; настоящая сеть учит их по размеченным человеком примерам, но выход — та же карта классов, пиксель за пикселем.

Сборка: карта вместо ярлыка

Семантическая сегментация приписывает класс каждому пикселю: её ответ — маска того же размера, что и вход, а не один ярлык. Строят её архитектурой энкодер—декодер: энкодер сжимает изображение, добывая смысл, декодер разворачивает обратно до полного разрешения, а короткие пути U-Net возвращают точные границы. Мерить маску пиксельной точностью нельзя — она обманывается мелкими объектами, где «всё фон» даёт $98\%$ при нулевой пользе; вместо неё считают перекрытие, IoU или Dice, именно по классу объекта. А делить данные, особенно спутниковые, надо по географии, чтобы не подсмотреть тест у соседнего тайла. За строгостью масок стоит цифровая геометрия Ковалевского. Сеть научилась не только узнавать, но и указывать пальцем. Дальше — как находить и обводить отдельные объекты: о детекции.

Семантическая сегментация