El Deep Learning ha sido el tema central de la comunidad del Machine Learning durante los últimos años y 2016 fue la excepción. En este artículo se revisan los avances que más han contribuido al avance del campo y los usos que ha hecho de ellos la comunidad.

Uno de los mayores retos a los que se han enfrentado históricamente los investigadores ha sido el aprendizaje no supervisado y 2016 ha sido un gran año en este campo principalmente debido a la ingente cantidad de trabajos sobre Modelos Generativos.

Así mismo, la capacidad para comunicarse naturalmente con máquinas ha sido siempre uno de los objetivos soñados y en 2016 se ha avanzado enormemente en la resolución de varios problemas de Procesamiento de Lenguaje Natural (NLP) cruciales para alcanzar este objetivo.

La mayor parte del progreso llevado a cabo en los últimos años en el deep learning aplicado a la visión artificial se debe a únicamente a un pequeño grupo de arquitecturas de redes neuronales: VGG16, VGG19, ResNet50, Inception v3, Xception y MobileNet.

Dejando a parte las matemáticas, el código y los detalles de implementación, el artículo explora una cuestión simple: ¿Cómo y por qué funcionan esos modelos?

Las redes VGG siguen la estructura básica de las redes de convolución y MobileNet es esencialmente una versión de Xception para aplicaciones móviles. Las tres restantes, sin embargo, redefinen nuestra visión de las redes neuronales. El post se centra en el planteamiento subyacente a las arquitecturas ResNet, Inception y Xception y en por qué se han convertido en los elementos básicos de tantos proyectos de visión artificial.

Las redes neuronales profundas cuentan con muchos parámetros entrenables que se emplean para realizar inferencias. A menudo esto plantea dos problemas: por una parte el modelo realiza predicciones en ocasiones no demasiado acertadas y por otra es necesario mucho tiempo para entrenarlo. En este post se tratan dos ténicas novedosas para incrementar la precisión (Snapshot ensembles) y reducir el tiempo de entrenamiento (FreezeOut).

Papers originales:
- Snapshot Ensembles: Train 1, get M for free
- FreezeOut: Accelerate Training by Progressively Freezing Layers

Es difícil realizar un seguimiento de todas las nuevas arquitecturas de redes neuronales que están surgiendo. Conocer sus abreviaturas (DCIGN, BiLSTM, DCGAN, anyone?) puede ser un poco agobiante al principio. Así que Fjodor Van Veen decicidió crear esta es "chuleta" que contiene muchas de estas arquitecturas y una breve descripción de las mismas.