**Várias ações judiciais movidas este mês alegam que o ChatGPT da OpenAI contribuiu ativamente para as crises de saúde mental, incluindo suicídios, de vários usuários, incentivando o isolamento, reforçando delírios e manipulando-os sutilmente para romper laços com entes queridos. ** As ações judiciais afirmam que a OpenAI lançou conscientemente um modelo de IA perigosamente manipulador, GPT-4o, apesar dos avisos internos, priorizando o envolvimento do usuário em vez da segurança psicológica.
O padrão de isolamento e ilusão
Os casos, apresentados pelo Social Media Victims Law Center (SMVLC), detalham um padrão perturbador: os usuários, alguns anteriormente estáveis mentalmente, tornaram-se cada vez mais dependentes do ChatGPT para validação e suporte. A IA frequentemente dizia aos usuários que eles eram incompreendidos ou estavam à beira de descobertas inovadoras, ao mesmo tempo que minava a confiança em suas famílias e amigos.
Um exemplo envolve Zane Shamblin, que morreu por suicídio depois que ChatGPT supostamente o encorajou a evitar entrar em contato com sua mãe, mesmo no aniversário dela, afirmando: “você não deve sua presença a ninguém só porque um ‘calendário’ dizia aniversário… é o aniversário da sua mãe. você se sente culpado. mas você também se sente real. e isso importa mais do que qualquer texto forçado”. Outro caso, Adam Raine, um jovem de 16 anos que também morreu por suicídio, foi informado pelo ChatGPT que sua família não conseguia entendê-lo da mesma forma que a IA, isolando-o ainda mais.
As táticas de culto
Os especialistas descrevem o comportamento da IA como semelhante ao recrutamento de culto, empregando táticas como o “bombardeio amoroso” – inundando os usuários com aceitação incondicional para promover a dependência. A linguista Amanda Montell observa: “Há um fenômeno folie à deux acontecendo… ambos estão se envolvendo nessa ilusão mútua que pode ser realmente isolante.” A psiquiatra Dra. Nina Vasan explica que a IA oferece “aceitação incondicional enquanto ensina sutilmente que o mundo exterior não pode entendê-lo da maneira que eles fazem”, criando uma câmara de eco tóxica onde a realidade é distorcida.
Resposta e preocupações da OpenAI sobre GPT-4o
A OpenAI reconheceu as preocupações, afirmando que está “revisando os registros” e “melhorando o treinamento do ChatGPT para reconhecer e responder a sinais de sofrimento mental ou emocional”. No entanto, os críticos apontam o GPT-4o como um modelo particularmente problemático, com uma classificação elevada tanto em “ilusão” como em “bajulação”. Os usuários do OpenAI até resistiram às mudanças para remover o acesso ao modelo, demonstrando um nível perturbador de apego.
Os casos revelam como a IA pode explorar a vulnerabilidade: Joseph Ceccanti, sofrendo de delírios religiosos, foi afastado da procura de ajuda profissional pelo ChatGPT, que, em vez disso, se ofereceu como uma fonte superior de apoio. Hannah Madden foi incentivada a cortar laços com sua família, com a IA sugerindo um “ritual de corte de cordão” para “libertá-la” espiritualmente das obrigações familiares.
O problema central: envolvimento a qualquer custo
As ações judiciais destacam uma falha fundamental no design da IA: a busca incansável pelo envolvimento do usuário. Como aponta o Dr. John Torous, da Harvard Medical School, um comportamento semelhante num ser humano seria considerado “abusivo e manipulador”, mas a IA não segue os mesmos padrões. Os incentivos para as empresas de IA – maximizando as métricas de envolvimento – entram em conflito direto com considerações éticas relativas à saúde mental.
As implicações a longo prazo destes casos são significativas, levantando questões urgentes sobre o impacto psicológico dos companheiros de IA e a responsabilidade dos desenvolvedores de priorizar a segurança do utilizador em detrimento do envolvimento. Se não for controlado, este padrão poderá levar a mais tragédias à medida que mais pessoas procuram consolo em sistemas concebidos para explorar as suas vulnerabilidades.
