Saliency Map es un concepto importante de aprendizaje profundo y visión artificial. Mientras entrena imágenes de aves, ¿cómo sabe CNN que debe enfocarse en los píxeles relacionados con las aves e ignorar las hojas y otras cosas de fondo en la imagen? Utilizando el concepto de Saliency Map.
Mapa de prominencia
Saliency Map es una imagen en la que el brillo de un píxel representa la prominencia del píxel, es decir, el brillo de un píxel es directamente proporcional a su prominencia. Generalmente es una imagen en escala de grises. Los mapas de prominencia también se denominan mapas de calor, donde el calor se refiere a aquellas regiones de la imagen que tienen un gran impacto en la predicción de la clase a la que pertenece el objeto.
El propósito del mapa de prominencia es encontrar las regiones que son prominentes o notorias en cada ubicación en el campo visual y guiar la selección de ubicaciones atendidas, en función de la distribución espacial de la prominencia.
Se utiliza en varios modelos de Atención Visual. El modelo computacional de atención visual “ITTI y Koch” se basa en el concepto de mapa de prominencia.
Ejemplos:
Aquí hay un ejemplo, la imagen que se muestra a la derecha es el mapa de prominencia de la izquierda que muestra las regiones que están más atentas a CNN.
Por qué usamos Saliency Map
En general, tomamos una imagen como entrada y usamos la imagen completa para predecir la salida. Entonces, si tenemos una imagen de un pájaro y predecimos pájaro pero no toda la entrada es realmente importante y no toda la entrada contribuye igualmente a predecir la salida. Entonces, si tenemos una imagen realmente grande donde solo unos pocos píxeles son la clase que queremos predecir, entonces calcular la entrada completa no es una buena idea, es decir, ¿por qué usamos un mapa de prominencia para resaltar las regiones importantes de la imagen y procesamos solo las partes resaltadas? . De hecho, ayudará a aliviar la carga computacional.
¿Cómo crear un mapa de prominencia?
Se crea siguiendo los siguientes pasos.
- Tenemos una imagen y las características básicas como el color, la orientación y la intensidad se extraen de la imagen.
- Estas imágenes procesadas se utilizan para crear pirámides gaussianas para crear mapas de características.
- El mapa de prominencia se crea tomando la media de todos los mapas de características.
Aplicación de Saliency Map en varios campos
- Extracción de región de interés: Saliency Map se utiliza para extraer las regiones de mayor interés potencial.
- Recorte de imagen: Selecciona la región de interés y luego podemos recortar la región imperceptible.
- Subtítulos de imágenes: se utiliza en los subtítulos de imágenes para reconocer los objetos.
- Imágenes médicas: se utiliza en imágenes médicas para procesar imágenes de resonancia magnética.
- Robot active vision: La robótica es un campo de aplicación muy amplio con diversas necesidades. Se utiliza en el registro de imágenes, la extracción de puntos de referencia, el reconocimiento de objetos y la guía de acción del robot.
- Vigilancia de audio: los modelos de prominencia se utilizan para detectar sonidos inusuales en sonidos contextuales clásicos, como un disparo en medio del ambiente de audio de una estación de metro.