“`html
Recentemente, uma pesquisa divulgada pelo Tow Center for Digital Journalism trouxe à tona questões inquietantes sobre como o ChatGPT, desenvolvido pela OpenAI, lida com a atribuição de fontes de conteúdo de editores, especialmente em um momento em que muitos deles estão cortando acordos de licenciamento com a empresa. O estudo, realizado na Columbia Journalism School, teve como foco as citações geradas pelo chatbot de inteligência artificial e revelou uma realidade sombria para os editores, que podem se sentir à mercê das falhas do sistema na representação de suas informações, independentemente da permissão dada à OpenAI para acessar seus conteúdos.
Os pesquisadores analisaram citações produzidas pelo ChatGPT ao solicitarem que ele identificasse as fontes de citações retiradas de artigos de diferentes editores. A amostra incluiu uma combinação de editores que haviam fechado acordos de licenciamento com a OpenAI e aqueles que não o haviam feito. Para isso, foram coletadas citações em bloco de 10 artigos de cada um dos 20 editores selecionados aleatoriamente, totalizando 200 citações. Entre os veículos examinados estavam o New York Times, que atualmente processa a OpenAI por violação de direitos autorais; o Washington Post, que não possui afiliação com a empresa; e o Financial Times, que estabeleceu um acordo de licenciamento.
Segundo os pesquisadores, Klaudia Jaźwińska e Aisvarya Chandrasekar, as citações foram escolhidas com base na expectativa de que, se fossem coladas no Google ou no Bing, os artigos originais aparecessem entre os três primeiros resultados. No entanto, os resultados encontrados foram decepcionantes. Apesar da OpenAI afirmar que pode oferecer respostas precisas com links para fontes relevantes, não há comprometimento explícito com a precisão das citadas. Isso representa uma omissão relevante para os editores que esperam que seu conteúdo seja referenciado de maneira fiel e correta.
O estudo constatou que nenhum dos editores, independentemente de sua afiliação com a OpenAI, estava isento de representações imprecisas de seu conteúdo no ChatGPT. Os pesquisadores relataram que encontraram inúmeras instâncias de citações incorretas. Alguns dos resultados apresentados estavam totalmente errados, enquanto outros continham uma mistura de acertos e erros, com pouquíssimos casos em que as citações estavam completamente corretas. Isso caracteriza as citações do ChatGPT como um conjunto misto e, muitas vezes, não confiável, uma vez que o chatbot raramente demonstrou insegurança em suas respostas incorretas. Na pesquisa, o ChatGPT respondeu incorretamente em 153 ocasiões, reconhecendo a falta de precisão apenas em sete casos, onde usou termos como “parece” ou “pode ser”.
Outro bastante alarmante encontrado pelos pesquisadores diz respeito à obstrução do acesso dos robôs de busca da OpenAI. Os pesquisadores anteciparam que o sistema teria dificuldades para fornecer citações corretas em casos de editores que bloquearam ativamente esses robôs. No entanto, isso levantou outra preocupação: o assistente virtual era relutante em admitir quando não conseguia produzir uma resposta precisa, frequentemente optando por inventar informações.
A situação é ainda mais crítica quando lidamos com conteúdo plagiado. Os pesquisadores mencionaram um caso em que o ChatGPT erroneamente citou um site que havia plagiado uma história profundamente investigada do New York Times como fonte do próprio artigo, levantando sérias questões sobre a capacidade da OpenAI de filtrar e validar a qualidade e a autenticidade de suas fontes de dados.
Em suas conclusões, os pesquisadores afirmaram que mesmo os editores que assinaram acordos de licenciamento com a OpenAI não estavam a salvo de citações imprecisas. O estudo sugeriu que os editores não têm controle significativo sobre o uso e tratamento de seu conteúdo pelo ChatGPT. É um cenário complicado, pois embora esses editores possam ter esperança de um tratamento especial, os resultados do estudo indicam que a OpenAI ainda não oferece a consistência que esses acordos parecem prometer. A qualidade da referência a seus conteúdos pode ser comprometida, e o estudo expõe que não há um “visibilidade” garantida para os editores na busca do OpenAI, mesmo quando permitem que seus robôs de busca acessem seus sites.
Além disso, bloquear por completo esses robôs não elimina as preocupações de reputação. O estudo apresentou um exemplo em que o ChatGPT ainda atribuiu incorretamente artigos ao New York Times, mesmo com o litígio em andamento. Isso traz à tona a ideia de que pode não haver receita segura das histórias e das obrigações de responsabilidade sobre o erro nas atribuições podem existir para todos, independentemente de suas escolhas de licenciamento.
A resposta da OpenAI às preocupações levantadas pelos pesquisadores indicou que as alegações de que o teste foi atípico para o produto da empresa. Eles ressaltaram que têm colaborado com parceiros para melhorar a precisão das citações e respeitar as preferências dos editores. Embora esses esforços sejam considerados promissores, os resultados do estudo são um lembrete crítico da precariedade do relacionamento entre editores e tecnologia de inteligência artificial. Assim, enquanto a indústria da mídia navega por essas águas complexas, a necessidade de um diálogo contínuo sobre a responsabilidade e a precisão das citações se torna cada vez mais vital.
