No cenário atual da inteligência artificial, onde a inovação avança a passos largos, o desenvolvimento de modelos de raciocínio se torna cada vez mais acessível e barato. Na última sexta-feira, a equipe NovaSky, vinculada ao Laboratório de Computação Sky da Universidade da Califórnia em Berkeley, anunciou a liberação do Sky-T1-32B-Preview, um modelo de raciocínio que demonstra competitividade com uma versão anterior do modelo o1 da OpenAI em uma variedade de benchmarks importantes. O que torna o Sky-T1 excepcional é seu status como o primeiro modelo de raciocínio verdadeiramente de código aberto, permitindo que qualquer interessado possa replicá-lo a partir do zero. Para isso, a equipe publicou o conjunto de dados utilizado para seu treinamento, bem como o código necessário para a reprodução.
Em um post no blog que acompanhou o anúncio, a equipe destacou o fato impressionante de que o Sky-T1-32B-Preview foi treinado por menos de $450, enfatizando que isso demonstra a possibilidade de replicar capacidades de raciocínio de alto nível de maneira acessível e eficiente. À primeira vista, $450 pode não parecer tão acessível, mas há apenas alguns anos, o custo para treinar um modelo com desempenho semelhante frequentemente ultrapassava milhões de dólares, o que coloca essa nova conquista em uma perspectiva muito mais otimista.
Os modelos de raciocínio, ao contrário da maioria das inteligências artificiais convencionais, têm a capacidade de se autoavaliar, o que os ajuda a evitar algumas das armadilhas comuns que dificultam o desempenho de outros modelos. O tempo que esses modelos levam para chegar a soluções é um pouco mais longo, geralmente variando de segundos a minutos a mais em comparação com modelos não-razoáveis. No entanto, o retorno é significativo, já que esses modelos tendem a demonstrar maior confiabilidade em áreas como física, ciência e matemática, onde a precisão é crucial.
De acordo com a equipe da NovaSky, o modelo Sky-T1 utilizou outro modelo de raciocínio, o QwQ-32B-Preview da Alibaba, para gerar os dados iniciais de treinamento. Após essa etapa, a equipe “curou” a mistura de dados e utilizou o GPT-4o-mini da OpenAI para reformular os dados em um formato mais utilizável. O processo de treinamento do Sky-T1, que conta com 32 bilhões de parâmetros (uma medida aproximada das habilidades de resolução de problemas do modelo), levou cerca de 19 horas utilizando um rack com 8 GPUs Nvidia H100.
Avaliando o desempenho do Sky-T1, a equipe NovaSky concluiu que o modelo se saiu melhor em comparação com uma versão inicial do o1 em um conjunto de desafios matemáticos de nível competitivo conhecido como MATH500. Além disso, o modelo superou a versão prévia do o1 em problemas desafiadores do LiveCodeBench, uma avaliação de programação. No entanto, é crucial mencionar que o Sky-T1 não conseguiu igualar a performance do o1 em um conjunto de perguntas do GPQA-Diamond, que abrange questões de física, biologia e química que um graduado de PhD deveria conhecer.
Outro ponto importante a ser destacado é que a versão GA do o1 da OpenAI é um modelo mais robusto do que a versão demonstrativa, e há expectativas de que a OpenAI lance um modelo de raciocínio ainda mais avançado, o o3, nas próximas semanas. Apesar disso, a equipe da NovaSky ressalta que o Sky-T1 é apenas o início de uma jornada voltada para o desenvolvimento de modelos de código aberto com capacidades avançadas de raciocínio.
“À medida que avançamos, iremos focar na criação de modelos mais eficientes que mantenham um forte desempenho de raciocínio e na exploração de técnicas avançadas que aprimorem ainda mais a eficiência e a precisão dos modelos durante os testes”, afirmaram os pesquisadores. “Fique atento enquanto fazemos progresso nessas iniciativas empolgantes.”
Esse desenvolvimento promete abrir novas possibilidades para uma variedade de áreas, desde a educação até a pesquisa científica, tornando o acesso a modelos de inteligência artificial de alto desempenho uma realidade mais palpável. Se você está curioso sobre como essas novas ferramentas poderiam impactar seu campo de atuação, a hora de prestar atenção é agora, pois o futuro promete grandes inovações.
Para mais informações sobre inteligência artificial e seus avanços, consulte fontes confiáveis como AI Trends e TechCrunch.
Acompanhe as inovações no campo da inteligência artificial e não perca as oportunidades que esse novo modelo pode trazer. O Sky-T1 representa uma mudança significativa no cenário de desenvolvimento de IA e os interessados devem ficar atentos aos próximos passos da equipe NovaSky.
