Inception-V4 e Inception-ResNets

Inception V4 fue presentado en combinación con Inception-ResNet por los investigadores de Google en 2016. El objetivo principal del documento era reducir la complejidad del modelo Inception V3 que brinda la precisión más avanzada en el desafío ILSVRC 2015. Este documento también explora la posibilidad de utilizar redes residuales en el modelo Inception. Este modelo 

Cambios arquitectónicos en Inception-V4:

 En el documento se discutieron dos tipos de arquitecturas Inception.

• Arquitectura Inception pura (Inception -V4):
  • El conjunto inicial de capas que el artículo denomina “tronco de la arquitectura” fue modificado para hacerlo más uniforme. Estas capas se utilizan antes del bloque Inception en la arquitectura.
  • Este modelo se puede entrenar sin partición de réplicas, a diferencia de las versiones anteriores de inicios que requerían una réplica diferente para caber en la memoria. Esta arquitectura utiliza la optimización de la memoria en la propagación hacia atrás para reducir el requisito de memoria.
• Arquitectura inicial con residuos:
  • Los autores del artículo se inspiraron en el éxito de Residual Network. Por lo tanto, exploraron la posibilidad de combinar Inception con ResNets. Propusieron dos modelos de Inception basados ​​en redes residuales: Inception ResNet V1 e Inception ResNet V2. Veamos los aspectos más destacados de estas arquitecturas.

• El bloque Inception utilizado en esta arquitectura es computacionalmente menos costoso que los bloques Inception originales que usamos en Inception V4.
• Cada bloque Inception va seguido de una convolución 1×1 sin activación llamada expansión de filtro. Esto se hace para escalar la dimensionalidad del banco de filtros para que coincida con la profundidad de entrada a la siguiente capa.
• En los modelos Inception ResNets, la normalización por lotes no se usa después de las sumas. Esto se hace para reducir el tamaño del modelo para que se pueda entrenar en una sola GPU.
• Ambas arquitecturas de Inception tienen las mismas arquitecturas para los bloques de reducción, pero tienen un origen diferente de las arquitecturas. También tienen diferencia en sus hiperparámetros para el entrenamiento.
• Se encuentra que Inception-ResNet V1 tiene un costo computacional similar al de Inception V3 e Inception-ResNet V2 tiene un costo computacional similar al de Inception V4.

Arquitecturas:

• A continuación se muestran los detalles arquitectónicos de Inception V4:
  • Arquitectura general

• Módulos de inicio:

• Módulos de Reducción:

• A continuación se muestran los detalles arquitectónicos de Inception ResNet V1 e Inception ResNet V2 :
  • Arquitecturas generales: Inception ResNet V2 tiene un esquema de arquitectura similar al de V1, pero la diferencia radica en sus raíces, bloques Inception y Reduction.

• tallo de la arquitectura

• Bloques de inicio: los bloques de inicio en Inception ResNets son muy similares, excepto por algunos cambios en la cantidad de parámetros. En Inception ResNet V2, la cantidad de parámetros aumenta en algunas capas en comparación con Inception ResNet V1.

• Bloques de reducción:

• El módulo de reducción A en diferentes arquitecturas de Inception es similar. La única diferencia en el número de parámetros que se definen en la siguiente tabla:

• El bloque de reducción B para Inception ResNets se proporciona a continuación:

Resultados y Conclusión:

La tasa de error top-5 y top-1 de la evaluación de modelo único de cultivo único de diferentes arquitecturas en los conjuntos de validación de ILSVRC 2012 se encuentran a continuación:

La tasa de error top-5 y top-1 de la evaluación de 144 cultivos (modelo único) de diferentes arquitecturas en los conjuntos de validación de ILSVRC 2012 se encuentran a continuación:

El resultado del conjunto de diferentes arquitecturas en los conjuntos de validación de ILSVRC 2012 se muestra a continuación:

Referencia :

• Inception-v4, Inception-ResNet y el impacto de las conexiones residuales en el aprendizaje