Inteligência artificial pode ajudar a identificar riscos de violência, mas exige controle humano e proteção de dados

Revisão mapeia usos da tecnologia no atendimento a mulheres, crianças e outras populações vulneráveis

A inteligência artificial (IA) já é testada para identificar sinais de violência, apoiar profissionais de saúde e orientar vítimas — mas ainda não pode ser tratada como uma solução automática para um problema que envolve histórias, contextos sociais e decisões humanas. Essa é uma das principais conclusões de uma revisão de escopo publicada na Revista Brasileira de Enfermagem com participação da profa. Claudia Galindo Novoa, chefe do Departamento de Informática em Saúde da Escola Paulista de Medicina da Universidade Federal de São Paulo (EPM/Unifesp).

O estudo analisou como ferramentas de IA vêm sendo usadas no enfrentamento da violência interpessoal — aquela praticada por uma pessoa contra outra, em situações que podem envolver agressões físicas, psicológicas, sexuais, morais ou patrimoniais. A pesquisa considerou casos relacionados principalmente a mulheres, crianças, idosos, pessoas com deficiência, pessoas negras, integrantes da comunidade LGBTQIA+ e pessoas em situação de rua.

Os pesquisadores fizeram buscas em cinco grandes bases de dados da área da saúde e também em fontes de literatura acadêmica não indexada, como teses e dissertações. Foram localizados 750 registros. Depois das etapas de seleção, apenas dez estudos atenderam aos critérios da revisão, o que evidencia que a aplicação da IA nesse campo ainda é recente e tem uma base científica limitada.

Os estudos foram organizados em três grandes grupos. O primeiro reúne sistemas capazes de prever e monitorar situações de violência. Alguns modelos analisaram documentos legais, dados demográficos, informações comportamentais e publicações em redes sociais para reconhecer padrões associados a ameaças, violência doméstica e risco de feminicídio.

Em diferentes pesquisas, os modelos apresentaram taxas de acerto entre 75% e 97%. Um aplicativo desenvolvido no México, por exemplo, usou um algoritmo de aprendizado de máquina para identificar casos de violência por parceiro íntimo e estimar sua gravidade. A ferramenta também produziu mapas com áreas de maior risco. Em outro estudo, realizado na Libéria, modelos foram usados para estimar a vulnerabilidade de mulheres à violência doméstica, com taxas de acerto de 81% e 82% para os algoritmos de melhor desempenho.

Esses resultados mostram que a IA pode ajudar a encontrar padrões difíceis de perceber em grandes volumes de informação. Na prática, isso pode contribuir para priorizar atendimentos, orientar políticas públicas e indicar situações que merecem avaliação mais cuidadosa por equipes especializadas.

O segundo grupo de estudos analisou a IA como apoio à decisão e ao cuidado. Entre as aplicações estão um sistema para auxiliar profissionais a reconhecer sinais de abuso físico infantil durante o atendimento clínico, aplicativos para denúncias e assistentes virtuais que oferecem informações e orientações a vítimas.

A tecnologia pode ser especialmente útil em locais com poucos profissionais ou infraestrutura limitada. Em vez de substituir o atendimento, essas ferramentas podem ajudar a organizar informações, reduzir a subnotificação e indicar caminhos dentro da rede de saúde, assistência social e proteção.

A revisão também aponta que bons resultados estatísticos não garantem, por si só, que uma ferramenta seja segura ou justa. Os modelos dependem da qualidade dos dados usados em seu treinamento. Se uma base não representar adequadamente determinados grupos sociais, o sistema pode errar mais justamente nos casos de pessoas que já enfrentam discriminação e dificuldade de acesso a serviços.

Há ainda o risco de que indicadores sociais sejam interpretados de maneira inadequada. Variáveis como renda, escolaridade, local de moradia ou composição familiar podem ajudar a identificar contextos de vulnerabilidade, mas não devem ser usadas para rotular pessoas ou presumir que alguém cometerá ou sofrerá violência.

A adoção indiscriminada de sistemas preditivos pode produzir uma espécie de vigilância seletiva sobre comunidades marginalizadas. Em vez de ampliar a proteção, a tecnologia pode reforçar estigmas, criminalizar a pobreza e direcionar intervenções de forma desigual. Por isso, os autores defendem que a IA seja usada como aliada da análise profissional, e não como substituta da avaliação humana.

Em casos de violência doméstica, a segurança digital é parte da proteção da vítima. Informações armazenadas em aplicativos, prontuários ou sistemas de denúncia podem ser acessadas indevidamente por agressores e criar novos riscos. Um vazamento pode revelar a localização, os contatos, os relatos ou o plano de segurança de uma pessoa que já está em situação vulnerável.

Outro alerta diz respeito aos sistemas de IA generativa, como chatbots e assistentes capazes de produzir textos. Uma resposta automática mal formulada pode minimizar a violência, ignorar aspectos culturais ou psicológicos do caso e até reativar experiências traumáticas. Situações complexas, como a violência psicológica ou aquela atravessada por raça, gênero, classe e orientação sexual, exigem sensibilidade e compreensão de contexto que os sistemas ainda não dominam.

Para reduzir esses riscos, a revisão recomenda protocolos éticos claros, transparência sobre o funcionamento dos algoritmos, controle rigoroso de acesso aos dados, auditorias e participação de profissionais, vítimas, organizações sociais e especialistas em ética no desenvolvimento das ferramentas.