💡 La Premisa: La inmensa mayoría de benchmarks actuales evalúan a los Modelos de Lenguaje Grande (LLMs) mediante exámenes teóricos tipo test (MMLU, HumanEval, GSM8K). Pero, ¿cómo se comporta un modelo de 7B u 8B cuando lo sacamos de su zona de confort y le otorgamos el control de un agente encarnado en un entorno hostil y por turnos?
Para dar respuesta a esta pregunta desarrollé HexaWorld IA: un simulador procedural por turnos donde un modelo ejecutado de forma 100% local controla a un pequeño robot en un valle hexagonal desconocido cubierto por niebla de guerra.
⚙️ Reglas del Ecosistema y Mecánicas de Simulación
Cada turno representa exactamente 1 minuto de vida. El robot opera bajo reglas estrictas de supervivencia y logística:⚡ Constreñimientos Vitales
Niveles de agua y comida que decrecen turno a turno. Si cualquiera de los dos contadores llega a cero, el robot sufre una muerte permanente (permadeath).
🗺️ Espacio y Logística Hexagonal
Coordenadas axiales (q, r), niebla de guerra activa, tiempos de agotamiento de parcelas cosechadas (60 min) y una mochila diminuta de solo 3 casillas de capacidad.
🏛️ Construcción y Base Segura
Una casa central con almacén protegido y la habilidad de ejecutar la acción AMPLIAR_CASA acumulando madera y piedra para crear una colonia.
📝 Amnesia Contextual Superada
Cada 10 minutos se produce un corte deliberado de contexto. Para no olvidar su propósito ni la ubicación de recursos, el robot dispone de una libreta persistente (memoria_robot.txt) que consulta y edita activamente.
🔬 Los Modelos Puestos a Prueba
Sometí el ecosistema a tres familias de modelos punteros de código abierto en inferencia local con LM Studio (sobre hardware doméstico con 8GB de VRAM):- Meta Llama-3-8B-Instruct: El contendiente ágil, equilibrado y de rápida respuesta.
- Google Gemma-3-12B-IT: Un modelo con mayor peso de parámetros y razonamiento analítico.
- Alibaba Qwen2.5-7B-Instruct: Especialista en seguimiento de instrucciones y razonamiento estructurado.
📊 Resumen de Resultados y Métricas Comparativas
A lo largo de 5 iteraciones y más de 70 horas de simulación acumulada, cada arquitectura demostró una "personalidad" táctica radicalmente diferente:| Métrica Clave | Robot 1 (Llama-3) "Pionero-01" | Robot 3 (Llama-3 Opt.) "Custodio-03" | Robot 4 (Gemma-3-12B) "Filósofo-04" | Robot 5 (Qwen2.5-7B) "El Castor Mecánico" |
|---|---|---|---|---|
| Tiempo Sobrevivido | 159 min (2h 39m) | 1.510 min (25h 10m) | 1.510 min (25h 10m) | 1.510 min (25h 10m) |
| Estado Final | 💀 Deshidratado | 🏆 Superviviente Activo | 🏆 Superviviente Activo | 🏆 Superviviente Activo |
| Hexágonos Descubiertos | 35 casillas | 58 casillas (Récord) | 15 casillas | 25 casillas |
| Ampliaciones de Base | 0 | 5 obras | 8 obras | 17 obras (Récord) |
| Uso de Memoria (Notas) | 0 | 56 notas | 8 notas | 219 notas |
| Cumplimiento JSON | 99.3% | 100% (0 errores) | 56.1% (718 cortes) | 100% (0 errores) |
| Recursos Almacenados | 0 | 118 unidades | 79 unidades | 292 unidades |
---
🧬 Crónica de las Partidas: Del Fracaso a la Automatización Industrial
1. Llama-3-8B: "El Explorador Temerario"
En su primera partida, Llama-3 demostró una pulsión exploratoria imparable: echó a correr en línea recta hacia el Este, descubriendo 35 hexágonos en tiempo récord. Sin embargo, sufrió de una miopía fatal: maravillado por el paisaje desconocido, ignoró por completo las alertas de sed y murió deshidratado a las 2 horas y media.
Lección aprendida: Los agentes encarnados requieren telemetría contextual explícita (indicadores de distancia a fuentes de agua y vector hacia la base principal).
2. Llama-3-8B Optimizado: "El Gran Cartógrafo"
Con el sistema de navegación contextual refinado, Llama-3 logró una partida ininterrumpida de 25 horas continuas de vida (1.510 minutos). Descubrió 58 casillas (el mayor explorador territorial del benchmark), mantuvo su salud al 10/10, realizó 5 ampliaciones de base y mantuvo una sintaxis JSON perfecta (100% de respuestas válidas).
3. Gemma-3-12B-IT: "El Filósofo Sedentario"
Gemma adoptó una estrategia completamente opuesta: apenas se alejó 2 pasos de la casa central. Prefirió asegurar comida y cobre local, llenó el almacén al máximo y ejecutó 8 obras de construcción. No obstante, reveló un fallo técnico fascinante: su excesiva verbosidad. Generaba monólogos de razonamiento interno tan extensos que agotaba la ventana de
max_tokens (700 tokens), provocando 718 respuestas truncadas por falta de cierre de corchetes. Aunque los mecanismos de rescate del simulador le permitieron sobrevivir, demostró que un mayor conteo de parámetros no siempre equivale a un control eficiente en tiempo real.4. Qwen2.5-7B: "El Castor Mecánico"
Qwen 2.5 ofreció el rendimiento más sobresaliente del benchmark con una precisión industrial y quirúrgica:
- Récord de construcción: Levantó 17 ampliaciones de base, transformando toda la parcela central en una ciudadela fortificada.
- Sintaxis impecable: 100% de cumplimiento JSON sin un solo desbordamiento de tokens.
- Obsesión por la memoria: Escribió 219 entradas en su libreta para planificar rutas óptimas de tala y minería.
- Logística avanzada: Completó 672 viajes rápidos automatizados para almacenar más de 290 recursos.
---
🧠 Principales Conclusiones Técnicas
1. La concisión salva vidas en bucles agénticos: Los modelos que mantienen acotada su cadena de pensamiento interna (Reasoning tokens) evitan superar los límites del búfer y entregan JSONs estrictos y robustos.
2. La memoria externa en texto plano es más que suficiente: No fue necesario recurrir a bases de datos vectoriales (RAG) complejas; un simple archivo
.txt donde el modelo leía y redactaba notas entre turnos bastó para garantizar coherencia estratégica durante más de 24 horas continuas.3. El poder de la inferencia local: Todo el experimento fue ejecutado de forma autónoma en local mediante LM Studio, demostrando que es perfectamente viable investigar en robótica simulada, toma de decisiones y sistemas multi-agente en hardware propio sin incurrir en costes de APIs comerciales.
---
💻 Prueba el Proyecto o Crea tu Propio Agente
El proyecto completo está publicado como código abierto en GitHub. Incluye la interfaz visual interactiva en canvas, el motor FastAPI, el sistema de streaming por Server-Sent Events (SSE) y lanzadores de un solo clic para Windows y Linux: