WHAM: la IA de Microsoft y Ninja Theory que entiende cada imagen del juego como nunca antes

La colaboración entre Microsoft y el estudio británico Ninja Theory está marcando un nuevo capítulo en el cruce entre inteligencia artificial y videojuegos.

Su más reciente creación, conocida como WHAM, promete revolucionar cómo las máquinas entienden y procesan imágenes de videojuegos en tiempo real.

¿Qué es WHAM?

WHAM, acrónimo de Whole-scene HumAN-centric understanding of real-time Media, es una innovadora IA desarrollada por el equipo de Microsoft Research en conjunto con Ninja Theory.

Su objetivo es lograr que la inteligencia artificial pueda entender integralmente cada fotograma de un videojuego, tal como lo haría un ser humano.

A diferencia de otros modelos que se enfocan en interpretar objetos de forma individual, WHAM analiza cada escena dentro de un contexto visual complejo.

Esto significa que evalúa no solo los objetos, sino también las emociones humanas, la iluminación ambiental, la profundidad de campo y las expresiones faciales.

Un salto cuantitativo en entendimiento visual

La diferencia con modelos anteriores radica en su capacidad para lograr un entendimiento semántico completo de lo que está ocurriendo en cada imagen de juego.

Por ejemplo, si un personaje camina lentamente por un bosque con lluvia y expresión melancólica, WHAM puede capturar todo ese conjunto contextual e interpretarlo.

Esto abre puertas a un nivel de interacción entre jugador y entorno mucho más profundo.

Comparación con modelos tradicionales

Aplicaciones dentro del desarrollo de videojuegos

Ninja Theory, responsables del aclamado Hellblade: Senua's Sacrifice, ha incorporado WHAM en el desarrollo de su secuela, Senua’s Saga: Hellblade II.

Esta secuela busca no solo avanzar técnicamente en lo visual, sino también profundizar en la transmisión emocional de sus escenas.

Con WHAM, los desarrolladores pueden analizar desde microexpresiones hasta cómo los entornos refuerzan el estado psicológico del personaje principal.

Este tipo de comprensión es clave en un título cuyo eje central es la salud mental y la percepción subjetiva del mundo.

Ventajas prácticas para desarrolladores

Tecnología detrás de WHAM

WHAM se basa en una combinación de modelos de deep learning multimodales que integran datos visuales, emocionales y contextuales.

Cuenta con una arquitectura que emplea transformers entrenados en grandes bases de datos de imágenes y videos, tanto del mundo real como del universo de videojuegos.

Además, WHAM se cimenta en un modelo de percepción 3D capaz de interpretar la profundidad y el espacio de manera natural.

Esto permite no solo comprender lo que hay en la imagen, sino también cómo los elementos están distribuidos espacialmente.

Entrenamiento con datasets reales

WHAM fue entrenada con una base de imágenes generadas desde el motor de juego Unreal Engine y también con grabaciones de actores reales con sensores de movimiento.

Esto garantiza una sinergia entre los elementos reales y los virtuales, lo que contribuye a una comprensión más natural por parte de la IA.

WHAM en acción: una escena inolvidable

Durante una demostración privada del equipo de Microsoft Research, WHAM fue probada en una secuencia clave de Hellblade II, donde Senua atraviesa una cueva en completa oscuridad mientras recuerda un trauma del pasado.

A simple vista, la escena muestra solo sombras, expresiones ambiguas y movimientos sutiles.

Sin embargo, WHAM fue capaz de identificar el miedo progresivo en el rostro del personaje, las aceleraciones cardíacas simuladas a través de movimientos faciales, y la intensificación de la tensión mediante cambios de iluminación.

Lo más sorprendente fue que el modelo detectó cómo el uso de sombras en ciertos planos agravaba la sensación de claustrofobia, influyendo en la respuesta emocional del jugador.

Estas interpretaciones no solo refinaron la dirección cinematográfica de la escena, sino que sirvieron para revisar y ajustar los efectos de audio y los tiempos de corte visual.

WHAM fue también útil durante las pruebas internas con usuarios, ayudando a explicar por qué ciertas secuencias eran sentidas como “desconectadas”: la inteligencia artificial detectaba quiebres en la emocionalidad del flujo narrativo que el ojo humano ignoraba.

Gracias a estas observaciones, el equipo logró realizar cambios puntuales que mejoraron significativamente la inmersión, según mediciones posteriores con jugadores reales.

Impacto potencial en la industria

El desarrollo de WHAM señala un cambio relevante en cómo la IA se integra al proceso creativo femenino.

Ya no se limita a tareas como generación automática de personajes o rutinas de iluminación predecibles.

Ahora se ubica como una aliada activa en la narrativa, en la estética visual y en la dirección emocional de los videojuegos.

Otras industrias también toman nota

De hecho, se sabe que equipos de Microsoft Azure AI ya están explorando formas de incluir algoritmos de comprensión visual inspirados en WHAM dentro de sus soluciones de visión computacional en la nube.

Un paso hacia la emoción artificial

Uno de los avances más emocionantes de WHAM es su habilidad para lo que los investigadores llaman "lectura emocional contextualizada".

Esto implica interpretar emociones humanas no como unidades aisladas, sino con base en relaciones entre entorno, acciones y expresiones.

Es decir, ya no basta con analizar una mueca para suponer tristeza: se debe mirar cómo esa mueca se relaciona con lo que estaba ocurriendo antes y después, el ángulo de cámara y la atmósfera del lugar.

Este paradigma permite a la IA acercarse más al entendimiento humano del arte visual y dramático.

El directivo de Ninja Theory, Tameem Antoniades, aseguró que "WHAM no es solo un complemento técnico, sino una herramienta artística que nos permite contar historias con una nueva profundidad".

Preguntas frecuentes sobre WHAM

¿WHAM está disponible para otros desarrolladores?

Por ahora, WHAM solo está disponible para investigación conjunta con Microsoft y forma parte de una colaboración exclusiva con Ninja Theory.

¿Puede WHAM aplicarse a juegos multijugador?

Sí, WHAM tiene potencial para aplicaciones donde se requiere entender interacciones humanas en tiempo real, aunque aún no se ha probado en escenarios masivos multijugador.

¿Se puede usar WHAM para automatizar diseño de niveles?

Indirectamente. WHAM puede identificar qué tipo de nivel afecta la emoción del jugador, pero no diseña por sí misma aún. Sin embargo, permite que los diseñadores ajusten ambientes basándose en datos contextuales semánticos.

¿WHAM compite con otras IAs de visión computacional?

No directamente. WHAM es un enfoque específico orientado a análisis narrativo y emocional.

Su campo de aplicación no son las tareas industriales ni logísticas, sino aquellas en que entra en juego la experiencia del usuario frente a una narrativa visual.

El futuro de la inteligencia emocional en juegos

Si WHAM continúa su desarrollo, podríamos estar ante una nueva categoría de videojuegos capaces de adaptarse emocional y visualmente en tiempo real según el jugador.

No sería descabellado pensar en juegos que reconstruyen sus escenas según el estado emocional detectado en el usuario, como una especie de feedback neuropsicológico inverso armado por inteligencia artificial.

Esta línea podría también impregnar los juegos educativos, los simuladores y opciones terapéuticas con resultados asombrosos.

Muchos expertos consideran que la próxima década de juegos será más emocionalmente inmersiva que cualquier otra anterior, gracias a tecnologías como WHAM.

Y es muy probable que otras grandes tecnológicas sigan este camino en los próximos años.

En definitiva, WHAM no solo representa un avance técnico en la comprensión visual de escenas complejas, sino un antes y un después en la relación entre IA, arte y emoción.

Su impacto ya comienza a sentirse más allá de los muros de Ninja Theory, y con el apoyo de Microsoft, podría transformar el modo en que interactuamos con los videojuegos… y con las historias que vivimos en ellos.

Unity 6.2 integrará IA generativa en 2025: así será el futuro del desarrollo de videojuegos