La fábrica de decisiones que nadie supervisa
En los frentes de combate de Ucrania, programadores están convirtiendo drones FPV de bajo costo en proyectiles guiados por inteligencia artificial. El proceso es técnicamente sencillo: se entrena un modelo con imágenes de objetivos, se embebe el algoritmo en el hardware y el dron toma su propia decisión de impacto sin intervención humana en los segundos finales. Rusia, Irán y Estados Unidos aceleran sus propios programas en la misma dirección. Según reportó Forbes, el horizonte de las armas letales autónomas ya no es especulativo; está ocurriendo en campo abierto, con componentes civiles y equipos de desarrollo que operan bajo presión de tiempo extrema.
Esto no es una noticia exclusivamente militar. Es el caso de estudio más extremo disponible sobre lo que sucede cuando un sistema de decisión autónoma se despliega sin diversidad en su mesa de diseño, sin auditoría de sesgos y sin mecanismos de corrección distribuida. Y el patrón que revela tiene réplicas directas en cada sala de directorio que hoy está aprobando un sistema de IA para contratación, crédito, logística o atención al cliente.
Lo que distingue a un dron kamikaze autónomo de un algoritmo de scoring crediticio no es la naturaleza del sistema, es la magnitud del daño cuando falla. Ambos toman decisiones irreversibles basadas en patrones aprendidos. Ambos reflejan, con matemática precisa, los supuestos de quienes los construyeron.
El equipo homogéneo como vulnerabilidad de diseño
Cuando los equipos de desarrollo de sistemas autónomos son homogéneos —en formación, origen, experiencia operativa y perspectiva cultural— producen modelos que funcionan bien dentro de los escenarios que ellos mismos imaginaron. El problema estructural es que no imaginan lo que no conocen. En contextos de conflicto, eso se traduce en falsos positivos con consecuencias letales. En contextos corporativos, se traduce en productos que funcionan para un segmento y discriminan sistemáticamente a otro.
Los datos sobre esto no son nuevos ni marginales. Investigaciones en visión computacional documentaron hace años que ciertos modelos de reconocimiento facial tenían tasas de error entre diez y veinte puntos porcentuales más altas en rostros de mujeres de piel oscura que en hombres de piel clara. La causa no fue malicia: fue que los conjuntos de entrenamiento reflejaban la demografía de quienes construyeron y etiquetaron los datos. Un equipo más diverso, con acceso a perspectivas distintas desde la fase de diseño, habría detectado ese sesgo antes del despliegue. No por razones éticas abstractas, sino porque alguien en la sala habría dicho "ese dataset no me representa" y eso habría sido suficiente para cuestionar la validez del modelo.
Aplicado al contexto de los drones autónomos: los modelos entrenados en condiciones de un teatro de operaciones específico, por ingenieros con experiencia en ese contexto particular, producirán sistemas que funcionan bien en ese escenario y fallan de formas impredecibles en otros. Irán desarrollando sus propios sistemas con sus propias lógicas de clasificación. El resultado no es solo inestabilidad geopolítica; es la demostración de que la homogeneidad en el diseño de algoritmos de alto riesgo es una falla de ingeniería, no una postura ideológica.
Automatizar una decisión no elimina el sesgo: lo escala
Hay una ilusión operativa que persiste en los directorios tecnológicos: que delegar una decisión a un algoritmo la vuelve objetiva. Esta ilusión es costosa. Un algoritmo no toma decisiones; reproduce patrones estadísticos extraídos de datos históricos. Si esos datos contienen sesgos, el modelo los amplifica con una eficiencia que ningún humano podría igualar.
En el caso de los sistemas de armas autónomas que están tomando forma en Ucrania, la velocidad de despliegue es el factor que más preocupa desde una perspectiva de arquitectura de decisión. Los equipos de desarrollo operan bajo presión táctica inmediata. No hay tiempo para auditorías externas, para incorporar perspectivas de comunidades afectadas, para pruebas de adversariales en condiciones diversas. Se construye rápido, se despliega rápido y se corrige —si se corrige— después del primer fallo.
Este patrón tiene un nombre preciso en la gestión de riesgos corporativos: deuda técnica con externalidades sociales. Y su costo no lo paga el equipo que construyó el sistema; lo pagan quienes quedaron fuera de la conversación de diseño.
La carrera entre potencias hacia las armas autónomas letales no va a detenerse por declaraciones de principios. Lo que sí puede modificarse, tanto en el sector de defensa como en cualquier corporación que despliegue sistemas de decisión autónoma, es la arquitectura de quién está sentado en la mesa cuando se define qué optimiza el modelo, qué datos lo entrenan y qué constituye un error aceptable. Esas tres preguntas no son filosóficas; son de ingeniería de producto. Y su respuesta depende directamente de la diversidad cognitiva, cultural y operativa del equipo que las responde.
Las organizaciones que hoy aprueban sistemas de IA con equipos directivos que comparten la misma formación, el mismo sector de origen y la misma geografía están construyendo modelos con puntos ciegos predecibles. No porque sean negligentes, sino porque la homogeneidad produce convergencia de supuestos. Y los supuestos compartidos no se cuestionan; se vuelven invisibles hasta que el sistema falla en campo.
El costo de la mesa chica llega antes de lo previsto
Ucrania e Irán son laboratorios de velocidad extrema. Lo que está sucediendo allí, en términos de compresión del ciclo diseño-despliegue-fallo, llegará al sector privado con la misma lógica y una fracción del escrutinio público. Las empresas que hoy están construyendo sistemas de decisión autónoma para recursos humanos, servicios financieros, salud o logística operan bajo presiones de velocidad similares a las de un frente de combate tecnológico: el primero que despliega captura el mercado, y la corrección viene después.
La diferencia entre un sistema que falla y uno que escala bien no está en el presupuesto de desarrollo; está en la amplitud de perspectivas que participaron en definir qué es un error y para quién. Un equipo que nunca ha experimentado exclusión sistémica no diseña salvaguardas contra la exclusión sistémica. No porque no quiera, sino porque no tiene el mapa de ese territorio.
Las organizaciones con redes de talento diversas —construidas sobre relaciones de confianza y aporte mutuo, no sobre reclutamiento decorativo— tienen acceso a inteligencia de campo que los equipos homogéneos no pueden comprar con presupuesto. Esa inteligencia no aparece en los datasets; aparece cuando alguien con experiencia diferente dice, antes del despliegue, que el modelo tiene un problema que el equipo no vio.
El directivo que llegue a su próxima reunión de directorio y encuentre que todos en la mesa comparten la misma trayectoria académica, el mismo sector de experiencia y la misma geografía no está ante una casualidad cultural: está ante una arquitectura de riesgo que ningún seguro cubre y ningún algoritmo detecta por sí solo. Esa mesa chica no es un símbolo de cohesión; es la fotografía de los puntos ciegos que el mercado explotará antes de que el directorio los reconozca.
