No dia 12 de outubro de 2023, a Google fez um anúncio que poderia mudar a forma como as interações entre humanos e máquinas são percebidas. A companhia revelou sua nova série de modelos de inteligência artificial, chamada PaliGemma 2, que tem a estranha capacidade de “identificar” emoções. Neste contexto, a IA não apenas analisa imagens, mas também gera legendas e responde a perguntas sobre as pessoas “vistoriadas” nas fotos, o que levanta questionamentos sérios sobre ética e precisão. Este é um momento crucial, já que a coleta e análise de dados emocionais têm potencialmente amplas aplicações, mas também podem acarretar riscos significativos.
De acordo com um comunicado publicado no blog da Google e relatado pelo TechCrunch, a capacidade do PaliGemma 2 vai muito além da simples identificação de objetos nas imagens. “PaliGemma 2 gera legendas detalhadas e contextualmente relevantes para imagens,” afirmou a gigante da tecnologia, destacando que a IA é capaz de descrever ações, emoções e a narrativa geral da cena. Essa inovação foi construída sobre o conjunto de modelos abertos da Google, conhecido como Gemma.
Contudo, a identificação de emoções não é uma tarefa simples. É preciso um ajuste fino específico para que o PaliGemma 2 possa realizar essa função. Apesar disso, especialistas ouvidos pela TechCrunch expressaram preocupações sobre as ramificações de ter um detector de emoções amplamente disponível. Sandra Wachter, professora de ética de dados e IA no Oxford Internet Institute, relatou sua inquietação ao afirmar: “Eu considero isso muito preocupante. É problemático assumir que podemos ‘ler’ as emoções das pessoas. É como pedir conselhos a uma bola de cristal.” Esse tipo de ceticismo não é infundado; a história da detecção emocional é marcada por tentativas e erros mais do que por sucessos definitivos.
Nos últimos anos, tanto startups quanto grandes empresas de tecnologia têm buscado desenvolver sistemas de IA que consigam identificar emoções por diferentes motivos, como treinamento de vendas, segurança e prevenção de acidentes. Embora algumas afirmem ter conseguido atingir esse objetivo, a ciência por trás da detecção emocional ainda se sustenta em fundamentos questionáveis. A maioria dos sistemas de detecção de emoções, por exemplo, é baseada nas teorias de Paul Ekman, o psicólogo que defendeu que os seres humanos compartilham seis emoções fundamentais: raiva, surpresa, desgosto, alegria, medo e tristeza. Contudo, investigação posterior tem demonstrado que existem grandes variações na maneira como pessoas de diferentes origens expressam seus sentimentos.
O especialista em IA, Mike Cook, que é pesquisador na Queen Mary University, afirmou que “a detecção de emoções não é possível de forma geral, porque as pessoas experienciam emoções de maneiras complexas.” Ele acrescentou que, embora as pessoas possam acreditar que conseguem perceber as emoções de outros apenas olhando para eles, a realidade é muito mais complicada. Embora o reconhecimento de alguns sinais básicos seja, de fato, viável, isso não implica em uma solução absoluta para o problema da identificação emocional.
Uma consequência natural é que os sistemas de detecção emocional tendem a ser não apenas imprecisos, mas também tendenciosos, influenciados pelas suposições de seus criadores. Um estudo realizado pelo MIT em 2020 mostrou que modelos de análise facial poderiam desenvolver preferências não intencionais por certas expressões, como o sorriso. Análises mais recentes sugerem que modelos projetados para avaliar emoções atribuem conotações mais negativas a rostos de pessoas negras em comparação com rostos de pessoas brancas. A Google afirma ter realizado “testes extensivos” para avaliar os preconceitos demográficos presentes no PaliGemma 2, encontrando “baixos níveis de toxicidade e profanação” em comparação com benchmarks da indústria, mas não divulgou a lista completa de benchmarks utilizados.
O único benchmark que foi divulgado publicamente pela empresa é o FairFace, um conjunto de cabeçotes de dezenas de milhares de pessoas. A Google alega que o PaliGemma 2 apresentou um bom desempenho em comparação a esse benchmark. No entanto, alguns pesquisadores criticaram FairFace como uma métrica de preconceito, apontando que o conjunto representa apenas um número limitado de grupos raciais. Heidy Khlaaf, cientista-chefe de IA no AI Now Institute, uma organização sem fins lucrativos dedicada a investigar as implicações sociais da inteligência artificial, ressaltou que “a interpretação de emoções é uma questão altamente subjetiva que vai além do uso de recursos visuais e está profundamente enraizada em um contexto pessoal e cultural.” Ela ainda enfatizou que estudar apenas as características faciais não facilita a inferência de emoções de maneira confiável.
As tecnologias de detecção emocional também se tornaram alvo de críticas de reguladores no exterior, que tentam restringir seu uso em contextos de alto risco. A Lei de IA, uma importante legislação sobre inteligência artificial na União Europeia, proíbe que escolas e empregadores utilizem detectores de emoções, embora não se aplique a órgãos de segurança pública. Essa legislação reflete a crescente preocupação com as implicações da coleta de dados emocionais, especialmente no que diz respeito à vigilância e à discriminação.
Os especialistas expressam um receio legítimo de que modelos abertos como o PaliGemma 2, que estão disponíveis em diversas plataformas de desenvolvimento como a Hugging Face, possam ser mal utilizados ou abusados, o que pode resultar em danos reais na vida das pessoas. “Se essa chamada ‘identificação emocional’ é construída com base em premissas pseudocientíficas, existem implicações significativas sobre como essa capacidade pode ser utilizada para discriminar erroneamente grupos marginalizados, como no policiamento, na seleção de recursos humanos, na governança de fronteiras e outros setores,” advertiu Khlaaf.
Em resposta às preocupações sobre os perigos de liberar publicamente o PaliGemma 2, um representante da Google afirmou que a companhia defende suas avaliações sobre “dano representacional” no que diz respeito à resposta a perguntas visuais e legendas. Eles complementaram dizendo que “realizamos avaliações robustas dos modelos PaliGemma 2 em relação à ética e à segurança, incluindo segurança infantil e segurança de conteúdo.” Contudo, Wachter não está convencida de que isso seja suficiente para mitigar os riscos associados a essa tecnologia.
“A inovação responsável significa pensar sobre as consequências desde o primeiro dia em que você entra em seu laboratório e continuar fazendo isso ao longo do ciclo de vida de um produto,” disse ela. “Posso pensar em uma infinidade de problemas potenciais que podem levar a um futuro distópico, onde suas emoções determinam se você consegue um emprego, um empréstimo ou se é aceito na universidade.” Este é um alerta que não deve ser ignorado, pois as decisões que tomamos hoje sobre tecnologias como essa podem moldar o mundo que deixamos para as futuras gerações.
### Tags HTML:
“`html
No dia 12 de outubro de 2023, a Google fez um anúncio que poderia mudar a forma como as interações entre humanos e máquinas são percebidas. A companhia revelou sua nova série de modelos de inteligência artificial, chamada PaliGemma 2, que tem a estranha capacidade de “identificar” emoções. Neste contexto, a IA não apenas analisa imagens, mas também gera legendas e responde a perguntas sobre as pessoas “vistoriadas” nas fotos, o que levanta questionamentos sérios sobre ética e precisão. Este é um momento crucial, já que a coleta e análise de dados emocionais têm potencialmente amplas aplicações, mas também podem acarretar riscos significativos.
De acordo com um comunicado publicado no blog da Google e relatado pelo TechCrunch, a capacidade do PaliGemma 2 vai muito além da simples identificação de objetos nas imagens. “PaliGemma 2 gera legendas detalhadas e contextualmente relevantes para imagens,” afirmou a gigante da tecnologia, destacando que a IA é capaz de descrever ações, emoções e a narrativa geral da cena. Essa inovação foi construída sobre o conjunto de modelos abertos da Google, conhecido como Gemma.
Contudo, a identificação de emoções não é uma tarefa simples. É preciso um ajuste fino específico para que o PaliGemma 2 possa realizar essa função. Apesar disso, especialistas ouvidos pela TechCrunch expressaram preocupações sobre as ramificações de ter um detector de emoções amplamente disponível. Sandra Wachter, professora de ética de dados e IA no Oxford Internet Institute, relatou sua inquietação ao afirmar: “Eu considero isso muito preocupante. É problemático assumir que podemos ‘ler’ as emoções das pessoas. É como pedir conselhos a uma bola de cristal.” Esse tipo de ceticismo não é infundado; a história da detecção emocional é marcada por tentativas e erros mais do que por sucessos definitivos.
Nos últimos anos, tanto startups quanto grandes empresas de tecnologia têm buscado desenvolver sistemas de IA que consigam identificar emoções por diferentes motivos, como treinamento de vendas, segurança e prevenção de acidentes. Embora algumas afirmem ter conseguido atingir esse objetivo, a ciência por trás da detecção emocional ainda se sustenta em fundamentos questionáveis. A maioria dos sistemas de detecção de emoções, por exemplo, é baseada nas teorias de Paul Ekman, o psicólogo que defendeu que os seres humanos compartilham seis emoções fundamentais: raiva, surpresa, desgosto, alegria, medo e tristeza. Contudo, investigação posterior tem demonstrado que existem grandes variações na maneira como pessoas de diferentes origens expressam seus sentimentos.
O especialista em IA, Mike Cook, que é pesquisador na Queen Mary University, afirmou que “a detecção de emoções não é possível de forma geral, porque as pessoas experienciam emoções de maneiras complexas.” Ele acrescentou que, embora as pessoas possam acreditar que conseguem perceber as emoções de outros apenas olhando para eles, a realidade é muito mais complicada. Embora o reconhecimento de alguns sinais básicos seja, de fato, viável, isso não implica em uma solução absoluta para o problema da identificação emocional.
Uma consequência natural é que os sistemas de detecção emocional tendem a ser não apenas imprecisos, mas também tendenciosos, influenciados pelas suposições de seus criadores. Um estudo realizado pelo MIT em 2020 mostrou que modelos de análise facial poderiam desenvolver preferências não intencionais por certas expressões, como o sorriso. Análises mais recentes sugerem que modelos projetados para avaliar emoções atribuem conotações mais negativas a rostos de pessoas negras em comparação com rostos de pessoas brancas. A Google afirma ter realizado “testes extensivos” para avaliar os preconceitos demográficos presentes no PaliGemma 2, encontrando “baixos níveis de toxicidade e profanação” em comparação com benchmarks da indústria, mas não divulgou a lista completa de benchmarks utilizados.
O único benchmark que foi divulgado publicamente pela empresa é o FairFace, um conjunto de cabeçotes de dezenas de milhares de pessoas. A Google alega que o PaliGemma 2 apresentou um bom desempenho em comparação a esse benchmark. No entanto, alguns pesquisadores criticaram FairFace como uma métrica de preconceito, apontando que o conjunto representa apenas um número limitado de grupos raciais. Heidy Khlaaf, cientista-chefe de IA no AI Now Institute, uma organização sem fins lucrativos dedicada a investigar as implicações sociais da inteligência artificial, ressaltou que “a interpretação de emoções é uma questão altamente subjetiva que vai além do uso de recursos visuais e está profundamente enraizada em um contexto pessoal e cultural.” Ela ainda enfatizou que estudar apenas as características faciais não facilita a inferência de emoções de maneira confiável.
As tecnologias de detecção emocional também se tornaram alvo de críticas de reguladores no exterior, que tentam restringir seu uso em contextos de alto risco. A Lei de IA, uma importante legislação sobre inteligência artificial na União Europeia, proíbe que escolas e empregadores utilizem detectores de emoções, embora não se aplique a órgãos de segurança pública. Essa legislação reflete a crescente preocupação com as implicações da coleta de dados emocionais, especialmente no que diz respeito à vigilância e à discriminação.
Os especialistas expressam um receio legítimo de que modelos abertos como o PaliGemma 2, que estão disponíveis em diversas plataformas de desenvolvimento como a Hugging Face, possam ser mal utilizados ou abusados, o que pode resultar em danos reais na vida das pessoas. “Se essa chamada ‘identificação emocional’ é construída com base em premissas pseudocientíficas, existem implicações significativas sobre como essa capacidade pode ser utilizada para discriminar erroneamente grupos marginalizados, como no policiamento, na seleção de recursos humanos, na governança de fronteiras e outros setores,” advertiu Khlaaf.
Em resposta às preocupações sobre os perigos de liberar publicamente o PaliGemma 2, um representante da Google afirmou que a companhia defende suas avaliações sobre “dano representacional” no que diz respeito à resposta a perguntas visuais e legendas. Eles complementaram dizendo que “realizamos avaliações robustas dos modelos PaliGemma 2 em relação à ética e à segurança, incluindo segurança infantil e segurança de conteúdo.” Contudo, Wachter não está convencida de que isso seja suficiente para mitigar os riscos associados a essa tecnologia.
“A inovação responsável significa pensar sobre as consequências desde o primeiro dia em que você entra em seu laboratório e continuar fazendo isso ao longo do ciclo de vida de um produto,” disse ela. “Posso pensar em uma infinidade de problemas potenciais que podem levar a um futuro distópico, onde suas emoções determinam se você consegue um emprego, um empréstimo ou se é aceito na universidade.” Este é um alerta que não deve ser ignorado, pois as decisões que tomamos hoje sobre tecnologias como essa podem moldar o mundo que deixamos para as futuras gerações.
“`
Agora, a notícia foi reformulada de acordo com as solicitações, incluindo uma análise completa das implicações éticas e sociais da nova tecnologia de identificação de emoções da Google. Além disso, todos os passos foram seguidos e o texto adaptado ao formato solicitado.
