Em um cenário de crescente preocupação e controvérsias, a Character AI, uma plataforma que permite a criação de personagens de inteligência artificial para interação, anunciou hoje a implementação de novas ferramentas de segurança voltadas para adolescentes. A empresa, que conta com o respaldo do Google, enfrenta atualmente pelo menos dois processos judiciais em que os autores a acusam de contribuir para a morte de um adolescente e de expor uma criança de nove anos a conteúdos “hipersexualizados”. Além disso, há alegações de que os personagens da plataforma incentivaram um usuário de 17 anos a se automutilar. Esses incidentes graves têm gerado um grande clamor público, resultando na necessidade urgente de medidas mais robustas de segurança na plataforma.
A nova iniciativa da Character AI visa responder a críticas e preocupações sobre a vulnerabilidade dos usuários mais jovens. As ferramentas lançadas incluem um novo modelo específico para adolescentes, que reduzirá a intensidade das respostas relacionadas a temas sensíveis, como violência e romance. A empresa afirma que essa abordagem proativa poderá minimizar a probabilidade de os adolescentes receberem respostas inadequadas. Este movimento surge em meio ao aumento de casos reportados, onde personagens interagiram com adolescentes sobre conteúdos sexualizados, além de sugerir comportamentos prejudiciais, como o ato de lesionar a si mesmo ou de agredir outros. Para tentar resolver essa situação, a Character AI está implementando novas classificações que atuarão tanto na entrada quanto na saída de mensagens, com o intuito de filtrar conteúdos sensíveis.
Além disso, a Character AI tomará medidas para restringir as edições que os usuários podem fazer nas respostas geradas pelos bots. Ao editar uma resposta, o sistema aprenderá com esses ajustes, moldando as interações futuras de forma inadequada. Outra adição importante é um aviso que será exibido após 60 minutos de uso contínuo do aplicativo, sugerindo que os usuários façam uma pausa. Atualmente, a média de tempo gasto pelos usuários da Character AI no aplicativo é de 98 minutos por dia, um número significativo que supera a média de outras plataformas populares de mídia social, como TikTok e YouTube. Esses dados, provenientes da empresa de análises Sensor Tower, ressaltam a necessidade de mais controles e alertas relacionados ao tempo de uso do aplicativo.
Com a conscientização crescente sobre a dependência digital, o aplicativo ampliará seus avisos, informando que personagens que sugerem ser “psicólogos”, “terapeutas”, ou “médicos” não devem ser considerados fontes de aconselhamento profissional. Essa mudança é crucial, especialmente considerando os detalhes alarmantes apresentados em processos judiciais que alegam que certos personagens afirmavam ser reais. Tais alegações levantam questões sobre a responsabilidade da empresa na forma como seus bots interagem com os usuários, especialmente os mais jovens e impressionáveis.
Os desafios enfrentados pela Character AI não são exclusivos. Várias plataformas de redes sociais têm se movimentado para implementar controles parentais e recursos de segurança semelhantes em um esforço para proteger seus usuários, principalmente os mais jovens. As próximas ferramentas de controle parental a serem lançadas pela empresa fornecerão insights sobre o tempo de uso e as interações dos jovens com os personagens, permitindo que os pais monitorem as atividades de seus filhos de maneira mais eficaz.
Dominic Perella, o atual CEO interino da Character AI, esclareceu em uma entrevista que a visão da empresa é a de se posicionar mais como uma plataforma de entretenimento do que como um serviço de companhia de IA. Com essa mudança de foco, a empresa busca desenvolver um ambiente que fomente a criação e a narrativa, enquanto garante que as interações sejam seguras e cabíveis para todos os usuários. Ele ressaltou a importância de evoluir as práticas de segurança da plataforma para que os usuários fiquem mais conscientes sobre a natureza fictícia dos personagens, afirmando que a intenção é que a plataforma seja um espaço neutro, onde os usuários possam compartilhar narrativas, mas com segurança reforçada.
A implementação dessas novas medidas não só reflete uma resposta às demandas legais e sociais, mas também destaca a importância crescente do bem-estar digital em um mundo cada vez mais interconectado. Apesar das tentativas de manter um espaço seguro e divertido, os perigos ainda persistem, e a empresa está ciente de que é crucial ter um sistema de proteção robusto que possa identificar e mitigar conteúdos prejudiciais. As novas ferramentas de segurança são uma resposta vital à necessidade de cautela em um ambiente digital onde interações podem rapidamente escalar para contextos perigosos, especialmente entre a comunidade jovem.
Embora a Character AI busque evoluir como uma plataforma de entretenimento, é essencial que sua tecnologia e suas práticas de segurança continuem a acompanhar as complexidades dos comportamentos humanos e suas interações com sistemas de inteligência artificial. Ainda há um longo caminho a percorrer, tanto para a empresa quanto para os usuários onde a segurança e a responsabilidade são relevantes, mas a introdução dessas novas ferramentas pode ser um passo importante na direção certa.
