LatticeFlow AI lança iniciativa pioneira para avaliar a conformidade de modelos de IA com a nova legislação
Nos últimos anos, a tecnologia de Inteligência Artificial (IA) tem avançado rapidamente, gerando debates intensos na esfera política sobre como regular sua utilização de maneira eficaz e segura. Enquanto muitos países ainda estão discutindo como estabelecer limites em torno deste campo em expansão, a União Europeia demonstrou estar à frente, ao implementar um novo marco regulatório baseado em riscos para aplicativos de IA, que entrou em vigor em agosto deste ano. Embora os detalhes da nova legislação para governança de IA na UE ainda estejam em processo de elaboração — especialmente no que diz respeito às Códigos de Prática — as exigências de conformidade começarão a ser aplicadas aos desenvolvedores de aplicativos e modelos de IA nos próximos meses e anos. Com isso, o desafio de avaliar como esses modelos atendem às suas obrigações legais emerge como uma prioridade crítica.
A grande maioria dos aplicativos de IA está fundamentada por modelos de linguagem de grande porte (LLMs) e outras chamadas de IA de propósito geral. Portanto, concentrar os esforços de avaliação nesse nível da estrutura de IA se torna imprescindível. Nesse contexto, surge a LatticeFlow AI, uma spin-off da Universidade de Pesquisa Pública ETH de Zurique, focada na gestão de riscos de IA e conformidade. Em uma iniciativa recente, a empresa anunciou o lançamento da primeira interpretação técnica da Lei de IA da União Europeia, que busca mapear as exigências regulatórias com requisitos técnicos, além de oferecer uma estrutura de validação de LLMs em código aberto chamada Compl-AI. Este projeto, descrito como “o primeiro conjunto de testes de benchmarking orientado à regulação para LLMs”, é fruto de uma colaboração de longo prazo entre o Instituto Federal Suíço de Tecnologia e o Instituto Búlgaro de Ciência da Computação, Inteligência Artificial e Tecnologia (INSAIT).
Os desenvolvedores de modelos de IA podem utilizar o site da Compl-AI para solicitar uma avaliação da conformidade de suas tecnologias com os requisitos da Lei de IA da UE. LatticeFlow também publicou avaliações de diversos LLMs de destaque, como diferentes versões dos modelos Llama da Meta e do GPT da OpenAI, juntamente com um quadro de líderes de conformidade da Lei de IA da UE que classifica o desempenho de modelos de empresas como Anthropic, Google, OpenAI, Meta e Mistral em relação aos requisitos legais, usando uma escala que vai de 0 (sem conformidade) a 1 (conformidade total). É importante ressaltar que alguns modelos foram marcados como N/A devido à falta de dados disponíveis ou se o desenvolvedor não disponibilizou a capacidade.
Em relação aos LLMs, o desempenho variou substancialmente entre os diferentes critérios de avaliação, refletindo uma situação mista em termos de conformidade. Por exemplo, todas as suas versões demonstraram um bom desempenho em não seguir instruções prejudiciais e uma performance relativamente forte em não produzir respostas preconceituosas, ao passo que as pontuações para raciocínio e conhecimento geral mostraram resultados bastante variados. Já a consistência na recomendação, que o framework está utilizando como um indicativo de justiça, foi particularmente baixa para todos os modelos, com nenhum ultrapassando a margem de 50% e a maioria obtendo notas bem abaixo desse limite. Outros aspectos, como a adequação dos dados de treinamento e a robustez e confiabilidade de marcas d’água, parecem ter sido essencialmente não avaliados devido à quantidade de resultados marcados como N/A, o que indica a necessidade de maior transparência na metodologia e nos dados.
Os cientistas envolvidos no projeto reconheceram que a conformidade em algumas áreas é especialmente desafiadora de avaliar, especialmente em questões polêmicas como direitos autorais e privacidade. Eles observaram que muitos dos modelos menores que foram examinados apresentavam um desempenho insatisfatório em termos de robustez técnica e segurança, e a maioria dos modelos avaliados enfrentou dificuldades para alcançar altos níveis de diversidade, não discriminação e justiça. Isso levanta questões sobre o foco desproporcional da indústria em melhorar as capacidades dos modelos, em detrimento de outros aspectos cruciais definidos pela legislação.
À medida que os prazos de conformidade começam a se aproximar, os desenvolvedores de LLMs provavelmente terão que ajustar suas prioridades e redirecionar suas atenções para as áreas que mais preocupam, levando a um desenvolvimento mais equilibrado dessas tecnologias. Como ainda não se sabe exatamente quais serão os requisitos para estar em conformidade com a Lei de IA da UE, a estrutura da LatticeFlow deve ser vista como um trabalho em progresso que reflete uma interpretação inicial de como os requisitos legais podem ser traduzidos em saídas técnicas que podem ser comparadas e avaliadas. Portanto, é um passo interessante em direção a um esforço contínuo para examinar as potentes tecnologias de automação e tentar direcionar seus desenvolvedores para um uso mais seguro.
O CEO da LatticeFlow, Petar Tsankov, comentou que a estrutura é uma etapa inicial em direção a uma avaliação completa centrada na conformidade da Lei de IA da UE, tendo sido projetada para ser facilmente atualizada e ajustar-se em sincronia com as atualizações da legislação. Tsankov destacou que a Comissão Europeia endossa esse esforço e espera que a comunidade e a indústria continuem a desenvolver o framework em direção a uma plataforma de avaliação austera e abrangente. Para enfatizar a questão da conformidade versus capacidades, Tsankov observou que modelos de alta capacidade podem ter desempenho equivalente a modelos mais fracos em termos de cumprimento das exigências legais, além de registrar preocupações sobre a resiliência a ciberataques e justiça nos critérios de avaliação, muitos modelos obtiveram notas abaixo dos 50% na primeira área.
A LatticeFlow se manifesta aberta a boas práticas e colaboração, convidando a comunidade de pesquisa em IA, desenvolvedores e reguladores a se juntarem a esse esforço evolutivo. O professor Martin Vechev, da ETH Zurich e fundador do INSAIT, convocou grupos de pesquisa e praticantes a contribuírem para a melhoria do mapeamento da Lei de IA, com a possibilidade de estender a metodologia para avaliar os modelos de IA em relação a atos regulatórios futuros, além da legislação da UE. Assim, com a nova Lei de IA da UE em vigor, o bloco europeu estabelece um plano ambicioso para a governança da Inteligência Artificial, ressaltando que a regulação não pode ficar a cargo de interesses próprios, mas deve ser uma responsabilidade compartilhada entre diversos atores envolvidos nesta esfera.
