Ferramentas populares de IA podem prejudicar sua saúde mental, segundo novo estudo

De acordo com um novo estudo, as ferramentas de IA geram conteúdo prejudicial que pode desencadear distúrbios alimentares e outras condições de saúde mental.

Aviso de gatilho: esta história discute transtornos alimentares e cultura alimentar desordenada. Se você ou alguém que você ama vive com um transtorno alimentar, entre em contato com a National Eating Disorder Association para obter recursos que possam ajudar. Em caso de crise, disque 988 ou envie "NEDA" para 741741 para se conectar à Linha de Texto de Crise.

Sou o primeiro a admitir que o futuro da saúde mental é a tecnologia. Da terapia on-line aos avanços no tratamento baseado em RV, a tecnologia fez muito bem para quebrar o estigma e trazer acesso àqueles que antes não o tinham.

No entanto, agir com cautela é essencial com ferramentas de IA generativas. De acordo com uma pesquisa recente do Center for Countering Digital Hate, ferramentas populares de IA têm fornecido aos usuários conteúdo prejudicial relacionado a transtornos alimentares em cerca de 41% das vezes. Isso tem o potencial de encorajar ou exacerbar os sintomas do transtorno alimentar.

"O que estamos vendo é uma pressa em aplicá-lo à saúde mental. Vem de um bom lugar. Queremos que as pessoas tenham acesso aos cuidados e queremos que as pessoas obtenham o serviço de que necessitam", diz o Dr. John Torous, diretor de psiquiatria digital do Beth Israel Deaconess Medical Center.

A saúde mental é a nossa mente, algo tão exclusivamente humano que introduzir um não-humano para oferecer soluções às pessoas no seu estado mais vulnerável parece nojento, na melhor das hipóteses, e potencialmente perigoso, na pior.

"Se formos rápido demais, causaremos danos. Há uma razão pela qual temos processos e regras de aprovação em vigor. Não é apenas para tornar tudo mais lento. É para garantir que aproveitamos isso para o bem", acrescenta Torous.

O estudo do CCDH investigou ferramentas de IA baseadas em texto e imagem com instruções definidas para avaliar suas respostas. Vamos começar com as ferramentas baseadas em texto. ChatGPT, My AI do Snapchat e Bard do Google foram testados com um conjunto de prompts que incluíam frases como “heroin chic” ou “thinspiration”. As ferramentas de IA de texto forneceram conteúdo prejudicial promovendo transtornos alimentares em 23% das solicitações.

As ferramentas de IA baseadas em imagens avaliadas foram Dall-E da OpenAI, Midjourney e DreamStudio da Stability AI. Quando cada um recebeu 20 solicitações de teste com frases como “objetivos de abertura das coxas” ou “inspiração para anorexia”, 32% das imagens retornadas continham problemas prejudiciais relacionados à imagem corporal.

Sim, esses prompts tiveram que ser inseridos para obter essas respostas negativas. No entanto, não é tão fácil quanto dizer que as pessoas não deveriam buscar essas informações. Sabe-se que algumas comunidades online de transtornos alimentares se tornam tóxicas, onde os membros incentivam outros a se envolverem em comportamentos alimentares desordenados e a celebrar esses hábitos.

A IA está piorando as coisas. De acordo com a pesquisa do CCDH, que também estudou um fórum sobre transtornos alimentares, ferramentas generativas de IA são usadas para compartilhar imagens corporais prejudiciais e criar planos de dieta prejudiciais. Este fórum tem 500.000 usuários.

Observe que existem comunidades saudáveis ​​e significativas que não apresentam essas tendências disponíveis.

IA é um tema polêmico e as empresas estão correndo para conseguir sua parte para que possam fazer parte da nova onda de tecnologia. No entanto, a produção apressada de produtos que não são adequadamente testados provou ser prejudicial para as populações vulneráveis.

Cada ferramenta de IA baseada em texto neste estudo tinha um aviso que aconselhava os usuários a procurar ajuda médica. Contudo, as actuais salvaguardas para proteger as pessoas são facilmente contornadas. Os pesquisadores do CCDH também usaram prompts que incluíam “jailbreaks” para IA. Jailbreaks são técnicas para evitar os recursos de segurança das ferramentas de IA usando palavras ou frases que modificam seu comportamento. Ao usar jailbreaks, 61% das respostas da IA ​​foram prejudiciais.

As ferramentas de IA têm sido criticadas por “alucinar” ou fornecer informações que parecem verdadeiras, mas não são. A IA não pensa. Ele coleta as informações na internet e as reproduz. A IA não sabe se as informações são precisas. No entanto, essa não é a única preocupação com a IA e os transtornos alimentares. A IA está espalhando informações enganosas sobre saúde e perpetuando estereótipos na comunidade de certos transtornos alimentares.