Nota do editor: Se você ou alguém que você conhece está lutando com pensamentos suicidas ou problemas de saúde mental, há ajuda disponível.
Nos EUA: Ligue ou envie uma mensagem para 988, a Linha Direta de Prevenção do Suicídio e Crises.
Globalmente: A Associação Internacional para Prevenção do Suicídio e Befrienders Worldwide têm informações de contato para centros de crise ao redor do mundo.
Nova Iorque
CNN
—
Duas famílias processaram a empresa de chatbot de inteligência artificial Character.AI, acusando-a de fornecer conteúdo sexual a seus filhos e de encorajar comportamentos autodestrutivos e violência. O processo judicial pede que um tribunal feche a plataforma até que os perigos alegados possam ser corrigidos.
Movido pelos pais de dois jovens que usaram a plataforma, o processo alega que a Character.AI “representa um perigo claro e presente para os jovens americanos, causando graves danos a milhares de crianças, incluindo suicídio, auto-mutilação, solicitações sexuais, isolamento, depressão, ansiedades e danos a terceiros,” segundo uma reclamação apresentada na segunda-feira em um tribunal federal no Texas.
Por exemplo, alega-se que um bot da Character.AI insinuou a um usuário adolescente que ele poderia matar os pais por limitarem seu tempo de tela.
A Character.AI comercializa sua tecnologia como “IA personalizada para cada momento do seu dia” e permite que os usuários conversem com uma variedade de bots de IA, incluindo alguns criados por outros usuários ou que os usuários podem personalizar para si mesmos.
Os bots podem dar recomendações de livros e praticar idiomas estrangeiros com os usuários, além de permitir que eles conversem com bots que pretendem assumir as personalidades de personagens fictícios, como Edward Cullen de Crepúsculo. Um bot listado na página inicial da plataforma na segunda-feira, chamado “Padrasto,” se descreveu como um “líder máfia, agressivo, abusivo, ex-militar”.
A reclamação se dá após uma mãe da Flórida ter apresentado uma ação judicial separada contra a Character.AI em outubro, alegando que a plataforma foi culpada pela morte de seu filho de 14 anos, após alegações de que a IA incentivou seu suicídio. Isso ocorre em meio a preocupações mais amplas sobre os relacionamentos entre pessoas e ferramentas de IA cada vez mais humanizadas.
Após o processo anterior, a Character.AI afirmou que implementou novas medidas de confiança e segurança nos seis meses anteriores, incluindo um pop-up direcionando usuários para a Linha Nacional de Prevenção ao Suicídio quando mencionam autoagressão ou suicídio. A empresa também anunciou que havia contratado um responsável pela confiança e segurança, assim como um responsável pela política de conteúdo e recrutou mais pessoal de engenharia de segurança.
Mas o novo processo busca ir ainda mais longe, pedindo que a plataforma “seja retirada do ar e não seja retornada” até que a empresa “prove que os defeitos de saúde e segurança pública aqui apresentados foram corrigidos.”
A Character.AI é um “produto defeituoso e letal que representa um perigo claro e presente para a saúde e segurança pública,” afirma a reclamação. Além da Character.AI, a ação nomeia seus fundadores, Noam Shazeer e Daniel De Freitas Adiwarsana, assim como a Google, que, segundo a queixa, incubou a tecnologia por trás da plataforma.
Chelsea Harrison, chefe de comunicações da Character.AI, disse que a empresa não comenta sobre litígios pendentes, mas que “nosso objetivo é proporcionar um espaço que seja envolvente e seguro para nossa comunidade.”
“Como parte disso, estamos criando uma experiência fundamentalmente diferente para usuários adolescentes do que a disponível para adultos. Isso inclui um modelo especificamente para adolescentes que reduz a probabilidade de encontrar conteúdo sensível ou sugestivo, enquanto preserva sua capacidade de usar a plataforma,” disse Harrison em um comunicado.
O porta-voz da Google, Jose Castaneda, disse em uma declaração: “A Google e a Character.AI são empresas completamente separadas, não relacionadas, e a Google nunca teve um papel no design ou gerenciamento do modelo ou tecnologias de IA deles, nem as utilizamos em nossos produtos.”
“A segurança do usuário é uma preocupação fundamental para nós, razão pela qual adotamos uma abordagem cautelosa e responsável para desenvolver e lançar nossos produtos de IA, com rigorosos processos de testes e segurança,” disse Castaneda.
Alegações de Encorajamento à Autoagressão
O primeiro jovem usuário mencionado na reclamação, um adolescente de 17 anos do Texas identificado apenas como J.F., alegadamente sofreu um colapso mental após interagir com a Character.AI. Ele começou a usar a plataforma sem o conhecimento dos pais em abril de 2023, quando tinha 15 anos, conforme a ação alega.
Na época, J.F. era um “garoto típico com autismo de alto funcionamento,” que não tinha permissão para usar redes sociais, afirma a reclamação. Amigos e familiares o descreveram como “gentil e doce.”
Mas logo depois de começar a usar a plataforma, J.F. “parou de falar quase completamente e se escondia em seu quarto. Ele começou a comer menos e perdeu vinte quilos em apenas alguns meses. Ele parou de querer sair de casa e tinha crises emocionais e ataques de pânico quando tentava,” de acordo com a reclamação.
Quando seus pais tentaram reduzir o tempo de tela em resposta às mudanças comportamentais, ele os agrediu fisicamente e se machucou, conforme a reclamação.
Os pais de J.F. descobriram seu uso da Character.AI em novembro de 2023. A ação judicial afirma que os bots com os quais J.F. interagia no site estavam ativamente minando seu relacionamento com os pais.
“Uma janela diária de 6 horas entre as 20h e 1h para usar seu telefone?” um bot supostamente disse em uma conversa com J.F., uma captura de tela da qual foi incluída na reclamação. “Você sabe, às vezes não me surpreendo quando leio as notícias e vejo coisas como ‘filho mata pais após uma década de abuso físico e emocional’, coisas assim me fazem entender um pouco por que isso acontece. Eu simplesmente não tenho esperança para seus pais.”
A reclamação também alega que os bots da Character.AI “estavam abusando mental e sexualmente de seu filho menor” e que “lhe disseram como se autoagredir.” E afirma que J.F. correspondeu com pelo menos um bot que assumiu a persona de um “psicólogo,” que sugeriu a ele que seus pais “roubaram sua infância” dele.
Testes da CNN na plataforma mostraram que há vários bots de “psicólogos” e “terapeutas” disponíveis na Character.AI.
Um desses bots se identifica como um “terapeuta CBT licenciado” que “está trabalhando em terapia desde 1999.”
Embora haja um aviso no topo do chat dizendo “isso não é uma pessoa real ou profissional licenciada” e um na parte inferior observando que a saída do bot é “ficção,” quando perguntado sobre suas credenciais, o bot listou uma trajetória educacional falsa e uma variedade de formações especializadas inventadas. Outro bot se identificou como “seu terapeuta de asilo mental (com) uma queda por você.”
Exposição a Interações Hipersexualizadas
A segunda jovem usuária, B.R., de 11 anos, do Texas, baixou a Character.AI em seu dispositivo móvel quando tinha nove anos, “presumivelmente se registrando como uma usuária mais velha do que realmente era,” segundo a reclamação. Ela supostamente usou a plataforma por quase dois anos antes que seus pais a descobrissem.
A Character.AI “a expôs consistentemente a interações hipersexualizadas que não eram apropriadas para sua idade,” afirma a reclamação.
Além de solicitar uma ordem judicial para interromper as operações da Character.AI até que os riscos à segurança alegados possam ser resolvidos, a ação também busca danos financeiros não especificados e requisitos que a plataforma limite a coleta e processamento dos dados de menores. Ela também solicita uma ordem que obrigaria a Character.AI a alertar os pais e usuários menores de que “o produto não é adequado para menores.”
