Семантическая сегментация: вики, приложения и ресурсы

  1. Что такое семантическая сегментация?
  2. Типы семантической сегментации
  3. Особенности семантической сегментации
  4. Приложения семантической сегментации

От Прерак Моди ,

В последние годы технология машинного обучения, основанная на глубоком обучении, привлекает внимание. Автомобили с самостоятельным вождением внедрили процессы глубокого обучения, которые требуют алгоритма для идентификации и изучения изображений, представленных в виде необработанных данных. Давайте посмотрим, как возникла потребность в семантической сегментации.

Первоначальные применения компьютерного зрения требовали идентификации основных элементов, таких как ребра (линии и кривые) или градиенты. Тем не менее, понимание изображения на уровне пикселей приходит только с появлением полнопиксельной семантической сегментации . Он группирует части изображения вместе, которые принадлежат к одному и тому же объекту, представляющему интерес, и, следовательно, открывает двери для многочисленных приложений.

Процесс идентификации каждого пикселя или группировки пикселей вместе с назначением classID прошел через следующий процесс:

  1. Классификация изображения - определить, что присутствует на изображении
  2. Распознавание объектов (и обнаружение) - определить, что присутствует на изображении и где (через ограничивающую рамку)
  3. Семантическая сегментация - определить, что присутствует на изображении и где (путем нахождения всех пикселей, которые ему принадлежат)

Итак, давайте посмотрим на ...

Что такое семантическая сегментация?

Семантическая сегментация - это классическая проблема Computer Vision, которая включает в себя использование в качестве входных данных некоторых необработанных данных (например, 2D-изображений) и преобразование их в маску с выделенными интересующими областями. Многие используют термин семантическая сегментация с полным разрешением, где каждому пикселю в изображении назначается classID в зависимости от того, к какому объекту интереса он принадлежит.

Ранее проблемы с компьютерным зрением обнаруживали только такие элементы, как ребра (линии и кривые) или градиенты, но они никогда не давали понимания изображений на пиксельном уровне в том, как человек их воспринимает. Семантическая сегментация, которая объединяет части изображений вместе, которые принадлежат к одному и тому же объекту по интересам, решает эту проблему и, таким образом, находит применение в бесчисленных областях.

Обратите внимание, что семантическая сегментация является совершенно другой и продвинутой по сравнению с другими задачами на основе изображений, такими как,

  • Классификация изображения определяет, что присутствует на изображении.
  • Распознавание объектов (и обнаружение) идентифицирует, что присутствует на изображении и где (через ограничивающую рамку).
  • Семантическая сегментация идентифицирует, что присутствует на изображении и где (путем нахождения всех пикселей, которые принадлежат ему).

Ваша модель машинного обучения должна идентифицировать каждый пиксель во входном 2D необработанном изображении? В таком случае полнопиксельная аннотация семантической сегментации является ключом к вашей модели машинного обучения. Семантическая сегментация полного пикселя назначает каждый пиксель в изображении с classID в зависимости от того, к какому объекту интереса он принадлежит.

Что ж, давайте просто определим типы семантической сегментации для лучшего понимания концепции.

Типы семантической сегментации

  1. Стандартная семантическая сегментация также называется семантической сегментацией полного пикселя. Это процесс классификации каждого пикселя как принадлежащего объектному классу.
  2. Семантическая сегментация с учетом экземпляра является подтипом стандартной семантической сегментации или семантической сегментации с полным разрешением. Он классифицирует каждый пиксель как принадлежащий классу объекта, а также идентификатор объекта для этого класса.

Давайте рассмотрим некоторые области применения семантической сегментации, чтобы лучше понять необходимость такого процесса.

Особенности семантической сегментации

Чтобы понять особенности сегментации изображений, давайте также рассмотрим другие распространенные методы классификации изображений.

На этот раз я представлю эти три, в том числе сегментации изображения.

1) Классификация изображения… «Определите, что такое изображение»

2) Обнаружение изображения (идентификация) «Определите, где на изображении»

3) Сегментация изображения… »Определите значение«

  1. Классификация изображений
    Это вращается вокруг идеи идентификации того, что изображение. Например, такое ощущение, что классифицированные изображения различных историй о суши классифицируются одна за другой, как «Это лосось, сколько это, это сложно». Обнаружение объектов и сцен Amazon Rekognition недавно выпущен из Амазонка также относится к этой классификации изображений. Первоначально «Чашка, смартфон и бутылка» были отражены, но Amazon Rekognition придумала «Чашка и Чашка кофе» в качестве маркировки всего изображения. При этом ее нельзя использовать в сценах, где несколько объектов входят в изображение. В этом случае вы будете использовать «Обнаружение (обнаружение) изображения».
  2. Обнаружение изображения
    Это вращается вокруг идеи определения «что там» и «где это».
  3. Сегментация изображения
    Это вращается вокруг идеи идентификации области изображения. Сегментация изображения, называемая семантической сегментацией, обозначает значение, обозначаемое этим пикселем для каждого пикселя, вместо обнаружения всего изображения или части изображения. Поскольку изображение легче увидеть, давайте посмотрим на фактическое изображение.

Приложения семантической сегментации

  1. GeoSensing - для землепользования

GeoSensing - для землепользования

Проблемы семантической сегментации также могут рассматриваться как проблемы классификации, когда каждый пиксель классифицируется как один из ряда классов объектов. Таким образом, есть случай использования для картографирования использования земли для спутниковых изображений. Информация о земном покрове важна для различных применений, таких как мониторинг районов обезлесения и урбанизации.

Для распознавания типа земного покрова (например, городских районов, сельского хозяйства, водных ресурсов и т. Д.) Для каждого пикселя на спутниковом изображении классификацию земного покрова можно рассматривать как многоэлементную задачу семантической сегментации. Обнаружение дорог и зданий также является важной темой исследований для управления движением, городского планирования и мониторинга дорог.

Существует несколько крупных общедоступных наборов данных (например, SpaceNet), и маркировка данных всегда является узким местом для задач сегментации.

  1. Для автономного вождения

Автономное вождение представляет собой сложную робототехническую задачу, которая требует восприятия, планирования и выполнения в постоянно меняющихся условиях. Эта задача также должна выполняться с предельной точностью, поскольку безопасность имеет первостепенное значение. Семантическая сегментация предоставляет информацию о свободном пространстве на дорогах, а также обнаруживает разметку полос и дорожные знаки.
Автономное вождение представляет собой сложную робототехническую задачу, которая требует восприятия, планирования и выполнения в постоянно меняющихся условиях

  1. Для лицевой сегментации

Для лицевой сегментации

Семантическая сегментация лица обычно включает в себя такие занятия, как кожа, волосы, глаза, нос, рот и фон. Сегментация лица полезна во многих случаях компьютерного зрения, таких как оценка пола, выражения, возраста и этнической принадлежности. Примечательными факторами, влияющими на набор данных сегментации лица и разработку модели, являются различия в условиях освещения, выражениях лица, ориентации лица, окклюзии и разрешающей способности изображения.

  1. Мода - Категоризация предметов одежды

Мода - Категоризация предметов одежды

Разбор одежды - очень сложная задача по сравнению с другими из-за большого количества классов. Это отличает себя от общих проблем сегментации объекта или сцены, поскольку классификация мелкозернистой одежды требует более высокого уровня суждения, основанного на семантике одежды, изменчивости позы человека и потенциально большом количестве классов. Парсинг одежды активно изучался в сообществе разработчиков, поскольку он имеет огромное значение в реальных приложениях, например в электронной коммерции. Некоторые наборы данных, такие как наборы данных Fashionista и CFPD, предоставляют открытый доступ к семантической сегментации для предметов одежды.

  1. Точное земледелие

Точное земледелие

Роботы для точного земледелия могут уменьшить количество гербицидов, которые необходимо распылять на полях, а семантическая сегментация сельскохозяйственных культур и сорняков помогает им в режиме реального времени инициировать действия по прополке. Такие передовые методы визуального изображения для сельского хозяйства могут уменьшить ручной мониторинг сельского хозяйства.

оригинал , Перемещено с разрешения.

Био : Прерак Моди является исследователем компьютерного зрения в Playment , Прерак любит изучать, как анализ данных может быть использован для улучшения гражданских возможностей города, изучая мировые финансы, и в настоящее время очень заинтересован в области обучения с подкреплением.

Связанные с:

Что такое семантическая сегментация?
Что такое семантическая сегментация?
Ваша модель машинного обучения должна идентифицировать каждый пиксель во входном 2D необработанном изображении?

Комментарии запрещены.