A fábrica de decisões que ninguém supervisa
Nos campos de batalha da Ucrânia, programadores estão transformando drones FPV de baixo custo em projéteis guiados por inteligência artificial. O processo é tecnicamente simples: um modelo é treinado com imagens de alvos, o algoritmo é embutido no hardware e o drone toma sua própria decisão de impacto sem intervenção humana nos segundos finais. Rússia, Irã e Estados Unidos aceleram seus próprios programas nessa direção. Segundo reportou a Forbes, o horizonte das armas letais autônomas não é mais especulativo; está ocorrendo em campo aberto, com componentes civis e equipes de desenvolvimento que operam sob pressão extrema de tempo.
Isso não é uma notícia exclusivamente militar. É o caso mais extremo disponível sobre o que acontece quando um sistema de decisão autônoma é implantado sem diversidade em sua mesa de design, sem auditoria de viés e sem mecanismos de correção distribuída. E o padrão que isso revela tem réplicas diretas em cada sala de diretoria que hoje aprova um sistema de IA para contratação, crédito, logística ou atendimento ao cliente.
O que distingue um drone kamikaze autônomo de um algoritmo de pontuação de crédito não é a natureza do sistema, mas a magnitude do dano quando falha. Ambos tomam decisões irreversíveis com base em padrões aprendidos. Ambos refletem, com matemática precisa, os pressupostos de quem os construiu.
A equipe homogênea como vulnerabilidade de design
Quando as equipes de desenvolvimento de sistemas autônomos são homogêneas —em formação, origem, experiência operacional e perspectiva cultural— produzem modelos que funcionam bem dentro dos cenários que viveram. O problema estrutural é que não imaginam o que não conhecem. Em contextos de conflito, isso se traduz em falsos positivos com consequências letais. Em contextos corporativos, resulta em produtos que funcionam para um segmento e discriminam sistematicamente outro.
Os dados sobre isso não são novos nem marginais. Pesquisas em visão computacional documentaram há anos que certos modelos de reconhecimento facial tinham taxas de erro entre dez e vinte pontos percentuais mais altas em rostos de mulheres de pele escura do que em homens de pele clara. A causa não foi malícia: foi que os conjuntos de treinamento refletiam a demografia de quem os construiu e rotulou os dados. Uma equipe mais diversa, com acesso a perspectivas distintas desde a fase de design, teria detectado esse viés antes do lançamento. Não por razões éticas abstratas, mas porque alguém na sala teria dito "esse conjunto de dados não me representa" e isso teria sido suficiente para questionar a validade do modelo.
Aplicado ao contexto dos drones autônomos: os modelos treinados em condições de um teatro de operações específico, por engenheiros com experiência nesse contexto particular, produzirão sistemas que funcionam bem nesse cenário e falham de formas imprevisíveis em outros. Irão desenvolver seus próprios sistemas com suas próprias lógicas de classificação. O resultado não é apenas instabilidade geopolítica; é a demonstração de que a homogeneidade no design de algoritmos de alto risco é uma falha de engenharia, não uma postura ideológica.
Automatizar uma decisão não elimina o viés: o escala
Há uma ilusão operacional que persiste nas diretivas tecnológicas: que delegar uma decisão a um algoritmo a torna objetiva. Essa ilusão é custosa. Um algoritmo não toma decisões; reproduz padrões estatísticos extraídos de dados históricos. Se esses dados contêm viés, o modelo os amplifica com uma eficiência que nenhum humano poderia igualar.
No caso dos sistemas de armas autônomas que estão tomando forma na Ucrânia, a velocidade de implantação é o fator que mais preocupa sob uma perspectiva de arquitetura de decisão. As equipes de desenvolvimento operam sob pressão tática imediata. Não há tempo para auditorias externas, para incorporar perspectivas de comunidades afetadas, para testes adversariais em condições diversas. Se constrói rápido, se implanta rápido e se corrige —se corrigir— depois do primeiro erro.
Esse padrão tem um nome preciso na gestão de riscos corporativos: dívida técnica com externalidades sociais. E seu custo não é pago pela equipe que construiu o sistema; é pago por aqueles que ficaram fora da conversa do design.
A corrida entre potências em direção às armas autônomas letais não vai parar por declarações de princípios. O que pode ser modificado, tanto no setor de defesa quanto em qualquer corporação que implante sistemas de decisão autônoma, é a arquitetura de quem está sentado na mesa quando se define o que otimiza o modelo, que dados o treinam e o que constitui um erro aceitável. Essas três perguntas não são filosóficas; são de engenharia de produto. E sua resposta depende diretamente da diversidade cognitiva, cultural e operacional da equipe que as responde.
As organizações que hoje aprovam sistemas de IA com equipes de diretores que compartilham a mesma formação, o mesmo setor de origem e a mesma geografia estão construindo modelos com pontos cegos previsíveis. Não porque sejam negligentes, mas porque a homogeneidade produz convergência de pressupostos. E os pressupostos compartilhados não são questionados; tornam-se invisíveis até que o sistema falhe no campo.
O custo da mesa restrita chega antes do previsto
Ucrânia e Irã são laboratórios de velocidade extrema. O que está acontecendo lá, em termos de compressão do ciclo design-implantação-falha, chegará ao setor privado com a mesma lógica e uma fração do escrutínio público. As empresas que hoje estão construindo sistemas de decisão autônoma para recursos humanos, serviços financeiros, saúde ou logística operam sob pressões de velocidade semelhantes às de um campo de batalha tecnológico: o primeiro a abrir captura o mercado, e a correção vem depois.
A diferença entre um sistema que falha e um que escala bem não está no orçamento de desenvolvimento; está na amplitude de perspectivas que participaram em definir o que é um erro e para quem. Uma equipe que nunca passou pela exclusão sistêmica não projeta salvaguardas contra a exclusão sistêmica. Não porque não queira, mas porque não tem o mapa desse território.
As organizações com redes de talento diversas —construídas sobre relacionamentos de confiança e contribuição mútua, não sobre recrutamento decorativo— têm acesso a inteligência de campo que equipes homogêneas não podem comprar com orçamento. Essa inteligência não aparece nos conjuntos de dados; aparece quando alguém com uma experiência diferente diz, antes do lançamento, que o modelo tem um problema que a equipe não viu.
O executivo que chegar à sua próxima reunião de diretoria e encontrar que todos na mesa compartilham a mesma trajetória acadêmica, o mesmo setor de experiência e a mesma geografia não está diante de uma casualidade cultural: está diante de uma arquitetura de risco que nenhum seguro cobre e nenhum algoritmo detecta por si só. Essa mesa restrita não é um símbolo de coesão; é a fotografia dos pontos cegos que o mercado explorará antes que o conselho os reconheça.
