Cuando la IA atiende el 911, los sesgos también marcan el número

Cuando la IA atiende el 911, los sesgos también marcan el número

Motorola Solutions acaba de comprar una startup de IA conversacional para centros de despacho de emergencias. La pregunta que nadie formula en el comunicado de prensa es quién diseñó esos agentes y qué voces faltaron en esa sala.

Isabel RíosIsabel Ríos10 de abril de 20267 min
Compartir

La lógica financiera detrás de la adquisición es impecable. La arquitectura social, menos.

El 9 de abril de 2026, Motorola Solutions anunció la adquisición de HyperYou, Inc., una startup especializada en agentes de IA conversacional para centros de despacho de emergencias —conocidos en la industria como PSAPs, por sus siglas en inglés—. El movimiento no es caprichoso: los centros de despacho en Estados Unidos operan, en promedio, al 75% de su capacidad de personal, y más de dos tercios de las llamadas que reciben no corresponden a emergencias reales. Ese volumen de llamadas no críticas colapsa a los operadores humanos, retrasa respuestas que sí son urgentes y convierte cada turno en una maratón de desgaste institucional.

La tesis operativa de Hyper es directa: desplegar agentes autónomos que gestionen las llamadas no críticas, detecten cuándo una situación escala —un auto averiado que se convierte en un accidente múltiple, por ejemplo— y transfieran el caso a un especialista humano en tiempo real. Además de traducción simultánea. Motorola, por su parte, planea integrar esta capacidad dentro de su portafolio Command Center y su suite de IA denominada Assist, con controles de supervisión humana explícitamente incorporados en el diseño.

Desde una perspectiva puramente financiera, el argumento es sólido. El segmento de software y analítica de Motorola históricamente genera márgenes superiores a su negocio de hardware. Automatizar la carga no crítica de los PSAPs sin incrementar proporcionalmente la nómina pública es exactamente el tipo de propuesta de valor que gana contratos gubernamentales plurianuales. El CEO y cofundador de Hyper, Ben Sanders, lo sintetizó sin rodeos: "cuando alguien llama pidiendo ayuda, no puede haber demora". El mercado de tecnología para gobiernos lleva años buscando esa frase hecha producto.

Hasta aquí, el análisis convencional. Ahora viene lo que los comunicados de prensa sistemáticamente omiten.

Un agente de IA para emergencias hereda los sesgos de quienes lo entrenaron

Los sistemas de IA conversacional no emergen del vacío. Aprenden de datos históricos, y esos datos históricos reflejan decisiones humanas tomadas en contextos específicos, por personas específicas, con puntos ciegos específicos. Cuando el producto en cuestión decide si una llamada al 911 es una emergencia o no —y si transfiere o no a un operador humano— los márgenes de error no son abstractos. Tienen consecuencias físicas.

La literatura sobre sesgos algorítmicos en servicios de emergencia no es especulativa. Sistemas de predicción policial, triaje hospitalario automatizado y despacho de recursos han mostrado patrones documentados de subatención a comunidades con menor representación en los datos de entrenamiento. Las llamadas provenientes de zonas con mayor proporción de hablantes no nativos de inglés, de barrios históricamente subatendidos o de personas con dificultades de comunicación tienden a ser mal clasificadas por modelos entrenados sobre corpus que no los representan adecuadamente.

El comunicado de Motorola menciona la traducción en tiempo real como una capacidad de Hyper. Es un avance notable. Pero traducir el idioma no resuelve el problema de fondo: un modelo entrenado principalmente con llamadas de emergencia de zonas urbanas angloparlantes de clase media va a tener un rendimiento degradado ante patrones de comunicación distintos, aunque el texto ya esté en inglés. La diversidad de los datos de entrenamiento no equivale a la diversidad del idioma; equivale a la diversidad de los contextos, las formas de narrar una crisis, los códigos culturales con que alguien describe que necesita ayuda.

Motorola enfatiza que sus Assist Agents operan dentro de parámetros definidos por cada agencia, con supervisión humana incorporada. Eso es un control de gobernanza importante, pero insuficiente si las agencias que definen esos parámetros tampoco tienen diversidad en sus propios cuadros de decisión. Un control humano ejercido por un equipo homogéneo sobre un sistema diseñado por otro equipo homogéneo no multiplica la perspectiva; la duplica.

El costo invisible de los equipos de diseño sin periferia

Las fallas de escala en productos de tecnología raramente provienen de errores técnicos. Provienen de supuestos no cuestionados que nadie en la sala de diseño tenía incentivos para cuestionar, porque todos compartían el mismo mapa mental del problema.

Esta es la fragilidad estructural que me interesa auditar en la adquisición de Hyper. No la calidad del equipo —que por los resultados obtenidos antes de ser adquiridos parece competente— sino la arquitectura de las redes desde las que construyeron su producto. El capital social de una startup no es solo su red de inversores o de clientes piloto. Es la amplitud de las perspectivas que circulan en sus iteraciones de diseño. Una red densa pero homogénea —un grupo de personas que se conocen entre sí, piensan de manera similar y validan sus supuestos mutuamente— produce un producto con cobertura parcial del problema que dice resolver.

En este caso, el problema que dice resolver es universal: cualquier persona, en cualquier condición, en cualquier comunidad, puede llamar al 911. El universo de usuarios es radicalmente heterogéneo. El universo de diseñadores, según todo indicador disponible en el sector de IA para seguridad pública en Estados Unidos, no lo es.

Los datos del sector son consistentes: las empresas de tecnología para seguridad pública con mayor diversidad en equipos de producto tienen tasas de adopción más altas en jurisdicciones con poblaciones diversas, no por razones ideológicas, sino porque sus modelos fallan menos en los bordes del problema. Las redes que incorporan nodos periféricos —operadores de PSAPs rurales, despachadores bilingües, coordinadores de emergencias en comunidades indígenas— producen conjuntos de entrenamiento más robustos y especificaciones de producto más completas. Eso se traduce directamente en menos llamadas mal clasificadas y en contratos más difíciles de perder ante la competencia.

La homogeneidad en equipos de diseño de IA no es un problema ético que se gestiona en el departamento de comunicaciones. Es un defecto de ingeniería que se paga en el mercado.

Motorola Solutions tiene ahora la capacidad instalada para corregir esto antes de que el producto enfrente su primer caso de fallo documentado en una comunidad subrepresentada. Tiene también los incentivos: los contratos con gobiernos locales en Estados Unidos están sujetos a regulaciones de equidad en servicios públicos que se están endureciendo. Un sistema de despacho de IA que muestre patrones de subatención diferencial no va a sobrevivir una auditoría federal, independientemente de cuán preciso sea en el promedio.

El mandato que Motorola aún no ha emitido

La integración de Hyper dentro del portafolio de Motorola representa una apuesta de largo plazo por la automatización de la primera línea de respuesta pública. La infraestructura técnica parece sólida. El modelo de negocio tiene lógica. El riesgo no está en la tecnología; está en la composición de las redes que van a decidir cómo se entrena, se calibra y se audita ese sistema en los próximos años.

La escala de despliegue que Motorola tiene en mente —PSAPs en todo el territorio estadounidense— significa que las fallas no van a ser fallas locales. Van a ser fallas sistémicas, replicadas en jurisdicción tras jurisdicción, hasta que algún incidente las haga visibles de forma irreversible. Eso no es un escenario catastrofista; es la historia documentada de cada sistema de IA que se desplegó a escala sin diversidad en el equipo de diseño.

El movimiento estratégico inteligente no es agregar un comité de ética después del lanzamiento. Es incorporar ahora, en el proceso de integración de Hyper, a las personas que operan en la periferia del sistema: los despachadores que trabajan en PSAPs con escasez crónica de personal, los coordinadores de emergencias en comunidades rurales o inmigrantes, los operadores que atienden llamadas en condiciones de comunicación degradada. No como consultores simbólicos. Como nodos con poder real sobre las decisiones de diseño.

Los líderes del C-Level que van a firmar contratos con Motorola Solutions en los próximos meses deberían exigir transparencia sobre la composición de esos equipos antes de desplegar el sistema. Y los líderes de Motorola deberían mirar su propia mesa directiva en la próxima reunión de junta: si todos los que deciden cómo se construye este sistema provienen del mismo tipo de trayectoria, el mismo tipo de institución y el mismo tipo de red, comparten inevitablemente los mismos puntos ciegos sobre a quién sirve el sistema y a quién falla, lo que los convierte en los primeros responsables cuando el fallo ocurra.

Compartir
0 votos
¡Vota por este artículo!

Comentarios

...

También te puede interesar