Qwen 3.8 adivina qué juego aprendió una red con sus pesos

Cuatro redes que aprendieron un juego cada una, sus pesos como texto y lo que respondió Qwen 3.8 27B al leerlos en una laptop. Esquema de decodigo.com con datos de MIT CSAIL y Simon Willison; tableros simplificados.

Un modelo de IA que cabe en una laptop leyó 17,253 números sueltos, los pesos de una pequeña red neuronal, y dedujo a qué juego había aprendido a jugar esa red. Simon Willison, creador de la herramienta de línea de comandos llm, repitió con Qwen 3.8 27B un experimento que investigadores del MIT habían hecho con GPT-6 Astra: acertó Breakout, Pong y Pac-Man y falló con Freeway.

Los pesos son los números que una red neuronal ajusta mientras se entrena; en ellos queda guardado todo lo que aprendió, como explicamos en cómo nació la idea de las redes neuronales. Para una persona son una lista ilegible, y por eso entender qué hace una red, el campo que se llama interpretability, suele hacerse con herramientas que miden cómo responde a distintos datos, no mirando los números a ojo. El 2 de noviembre, Rikiya Takehi, Jayden Teoh, Alex Zhang y Omar Khattab, de MIT CSAIL, publicaron «Sparks of Weight-Space Programming», donde aseguran que GPT-6 Astra, de OpenAI, puede leer esos números directamente, sin herramientas, y decir qué hace la red.

Un día después, Willison tomó el primer experimento del artículo, que los autores publicaron completo en GitHub, y se lo dio tal cual a modelos que cualquiera puede usar. Con Kimi K3.1 Pro, de Moonshot, acertó Breakout en 9 minutos 41 segundos. Con Qwen 3.8 27B, un modelo abierto de Alibaba que corre en su propia laptop, acertó tres de los cuatro juegos, aunque cada respuesta le tomó entre 46 minutos y algo más de una hora, contra uno o dos minutos de GPT-6 Astra.

Cómo es la prueba y qué resultados dio cada modelo. Gráfica: decodigo.com con datos de MIT CSAIL y Simon Willison.

Cómo fue la prueba

Cuatro redes, cuatro juegos. Los investigadores entrenaron cuatro redes iguales para jugar versiones simplificadas de Breakout, Pong, Pac-Man y Freeway en un tablero de 10 × 10, cada una durante 1,000 millones de pasos con PPO, un método de aprendizaje por refuerzo.
Una red pequeña. Cada una tiene 500 entradas, dos capas ocultas de 32 neuronas y 5 salidas: 17,253 pesos en total. Todas reciben lo mismo: cinco canales del tablero (el jugador, los objetos que se mueven, las recompensas, los obstáculos y el cuadro anterior) y eligen entre cinco acciones: quedarse quieto, subir, bajar o ir a la izquierda o a la derecha.
Solo números. El modelo recibe la descripción del tablero y los 17,253 pesos como texto, con tres decimales, unos 73,700 tokens. Nadie le dice qué juegos son posibles: la pregunta es abierta, sin herramientas, sin calculadora y con una sola respuesta.
GPT-6 Astra acertó los cuatro. Con una confianza de 96 % a 99 %, entre 71 y 107 segundos por red. A Freeway lo llamó Frogger, el juego clásico de cruzar la calle, y se contó como acierto.
Qwen 3.8 27B acertó tres. Breakout, con 88 % de confianza, en 52 minutos; Pong, con 75 %, en 1 hora 5 minutos, y Pac-Man, al que describió como un laberinto con bloques en el centro y en las esquinas, con 72 %, en 46 minutos y 43,506 tokens de razonamiento. Con Freeway contestó que era otro juego tipo Pac-Man.
El modelo. Qwen 3.8 27B salió en agosto con licencia Apache 2.0: es un modelo denso de 27,000 millones de parámetros que entiende texto, imágenes y video, con una ventana de contexto de 262,144 tokens. Willison usó la versión cuantizada Q4_K_M, de unos 17 GB, en LM Studio.
Dos ajustes. Con la ventana de contexto de 8,192 tokens que trae LM Studio de fábrica la prueba fallaba, porque los pesos solos ocupan más, así que tuvo que ampliarla. Además subió el tiempo de espera del plugin a 900 segundos.

Así lanzó cada prueba con su herramienta llm, pasándole el prompt del repositorio como un fragmento:

LMSTUDIO_TIMEOUT=900 llm -f <url-del-prompt> -m lmstudio/qwen/qwen3.8-27b

Lo que demuestra y lo que no

Willison lo llamó impresionante para un modelo local, pero también puso límites: las respuestas son lentas, gastan muchísimos tokens, se hizo una sola prueba por juego y cree que una persona con experiencia, con libreta y lápiz, podría llegar a lo mismo con suficiente esfuerzo. También se desmarcó de los comentarios más exagerados que circularon: no está listo para decir que se acabó la era del código fuente ni que el futuro serán máquinas que editan sus propios pesos de formas incomprensibles.

El artículo del MIT va más allá de leer. Según los autores, GPT-6 Astra arregló un auto simulado que no lograba subir una rampa cambiando el 3.5 % de sus pesos, escribió desde cero redes que juegan mejor que otras entrenadas 100 millones de pasos y editó Qwen3.5-0.8B para que dejara de dar vueltas en sus razonamientos: su puntuación en MATH-500 pasó de 7.9 % a 48.1 %. Matthew Honnibal, creador de spaCy, criticó que el resumen mezcle cosas distintas: las pruebas sin herramientas usan redes de 17,000 a 172,000 pesos, mientras que en la de Qwen3.5-0.8B, con unos 800 millones de parámetros, el modelo escribió código en Python y ejecutó la red hasta 50 veces. Sean Goedecke añadió que los canales de entrada vienen descritos, lo que facilita la tarea, y que esa corrección se parece a técnicas que ya usan los investigadores, como el steering.

Los propios autores llaman a sus resultados «muy tempranos» y reconocen fallos: GPT-6 Astra no pudo distinguir, mirando solo los pesos, cuál de dos copias de Gemma 3 270M se había entrenado para darle la razón al usuario. Aun así, que un modelo de 17 GB repita en casa parte de lo que hizo el modelo más grande de OpenAI muestra lo rápido que bajan estas capacidades: los investigadores ya preparan un benchmark para medirlas, y como publicaron todos sus prompts y registros, cualquiera puede repetir la prueba con su propio modelo.

Fuente: Simon Willison, «Qwen 3.8 27B on my laptop can interpret model weights, too»; MIT CSAIL, «Sparks of Weight-Space Programming»; registros del experimento en GitHub; Qwen 3.8 27B en Hugging Face.