Lançamento da API de Lotes de Mensagens proporciona economia e eficiência para desenvolvedores
A Anthropic, uma das mais proeminentes empresas de inteligência artificial, lançou recentemente sua inovadora Message Batches API, que oferece uma solução econômica para desenvolvedores que buscam processar grandes volumes de consultas ao modelo Claude de maneira assíncrona. Este novo recurso permite que os usuários enviem lotes de até 10.000 consultas, facilitando a execução de tarefas não urgentes com maior agilidade e redução significativa de custos. O processamento das solicitações por meio da API é realizado em menos de 24 horas, com um impressionante desconto de 50% em relação às chamadas de API tradicionais. Essa mudança representa um avanço significativo na forma como tarefas complexas e de grande dimensão são gerenciadas e executadas.
Atualmente, a API encontra-se em fase beta pública e é compatível com as versões Claude 3.5 Sonnet, Claude 3 Opus e Claude 3 Haiku, disponíveis na Anthropic API. Além disso, os clientes que utilizam o Claude na plataforma Amazon Bedrock já podem se beneficiar da inferência em lote, com suporte adicional para a inteligência artificial do Google Cloud, conhecida como Vertex AI, previsto para breve. A demanda por processamento de alta capacidade é praticamente indispensável para desenvolvedores que utilizam o Claude em tarefas como análise de feedback de clientes e tradução de idiomas, onde a necessidade de respostas imediatas não se encontra em foco.
Vantagens da API de Lotes para desenvolvimento de aplicações
Com este novo recurso, os desenvolvedores não precisarão mais se preocupar com sistemas complexos de fila ou limites de taxa. A API permite a submissão simultânea de até 10.000 consultas, garantindo um processamento fluido a um custo reduzido. Além disso, os lotes geralmente são processados em um prazo menor do que o limite de 24 horas. A Message Batches API proporciona um aumento significativo no throughput e limites de taxa, tornando possível lidar com solicitações extensas sem comprometer o uso padrão da API. Isso se traduz em escalabilidade, permitindo que projetos de processamento de dados em larga escala sejam realizados de maneira mais eficiente, desde análises de conjuntos de dados até avaliações de modelos, sem preocupações relacionadas à infraestrutura.
Este recurso da API abre portas para processamentos de dados em larga escala que antes eram considerados impraticáveis ou excessivamente onerosos. Utilizando o desconto oferecido para lotes, a análise de repositórios extensivos de documentos corporativos, que podem conter milhões de arquivos, se torna uma realização viável e economicamente acessível. A estrutura de preços da Message Batches API foi projetada para oferecer economia aos usuários, com um desconto de 50% tanto nos tokens de entrada quanto de saída.
Resumo da estrutura de preços da API de Lotes de Mensagens
A estrutura de preços da Message Batches API é delineada da seguinte maneira: para o modelo Claude 3.5 Sonnet, a entrada é de $1.50 por token de mil (MTok) e a saída é de $7.50 por MTok; para o Claude 3 Opus, a entrada é de $7.50 por MTok e a saída é de $37.50 por MTok; enquanto para o Claude 3 Haiku, a entrada é de $0.125 por MTok e a saída é de $0.625 por MTok. A plataforma de perguntas e respostas Quora está aproveitando plenamente a API de Lotes da Anthropic para tarefas como a extração de sumarização e destaques, o que aprimora as funcionalidades para os usuários finais.
Andy Edmonds, Gerente de Produto da Quora, comentou a respeito da nova API: “A Batches API da Anthropic não só proporciona economia de custos, mas também reduz a complexidade de executar uma quantidade significativa de consultas que não precisam ser tratadas em tempo real. É muito conveniente submeter um lote e baixar os resultados dentro do prazo de 24 horas, ao invés de ter que lidar com a complexidade de executar várias consultas simultâneas para chegar ao mesmo resultado. Isso libera tempo para nossos engenheiros trabalharem em problemas mais interessantes.”
Próximos passos na adoção da nova API
Desenvolvedores que estão ansiosos para começar a utilizar a Message Batches API durante sua fase beta pública podem explorar a documentação oferecida pela Anthropic. Além disso, eventos como o AI & Big Data Expo, que ocorrerá em locais como Amsterdã, Califórnia e Londres, estão programados para proporcionar mais informações sobre inteligência artificial e big data através de palestras de líderes da indústria. Este evento abrangente ocorre em conjunto com outras conferências relevantes, incluindo a Intelligent Automation Conference, BlockX, Digital Transformation Week, e Cyber Security & Cloud Expo, ampliando as oportunidades de aprendizado e networking no campo da tecnologia empresarial. A nova API de Lotes de Mensagens da Anthropic representa um ponto de inflexão significativo para desenvolvedores e empresas em busca de soluções mais acessíveis e eficazes para suas necessidades de processamento de dados.
