O universo das tecnologias de dados está em constante evolução, e a nova contribuição da Datorios ao sistema de processamento de fluxo Apache Flink é uma prova disto. Em um mundo onde a automação empresarial e a inteligência artificial se tornaram essenciais, a capacidade de observar e entender como os sistemas funcionam em tempo real se tornou uma prioridade. Anunciada durante o Flink Forward 2024 em Berlim, Alemanha, a Datorios introduziu avanços significativos em sua tecnologia de observabilidade, proporcionando às empresas uma nova maneira de garantir a qualidade e a eficiência de suas operações alimentadas por AI em tempo real.
tecnologia de observabilidade da datorios como alicerce para a automação responsável de negócios
A nova solução da Datorios não é apenas um complemento, mas uma necessidade em um mundo onde as empresas dependem cada vez mais de sistemas de AI. Com o surgimento do que foi descrito como Agentic AI, que transcende a mera produção de respostas, as organizações estão agora diante de uma era de tomada de decisões automatizadas baseadas em informações em tempo real. A Gartner estima que, até 2028, cerca de 15% das decisões cotidianas serão tomadas de forma autônoma pelos sistemas de AI. Nesse cenário, a importância de entender como essas decisões são tomadas se torna crítica.
Ronen Korman, CEO e co-fundador da Datorios, esclareceu que “nenhuma empresa responsável operaria sem uma base sólida de cibersegurança hoje em dia, e da mesma forma, nenhuma empresa responsável deve permitir que a AI dirija operações sem visibilidade.” Essa afirmação sublinha a importância de ter um sistema de observabilidade robusto que permita que os negócios monitorar suas operações automatizadas com precisão e confiança.
observabilidade aprimorada: rastreamento de dados e análise de linhagens no trabalho
Uma das inovações mais impactantes introduzidas pela Datorios é a capacidade de traçar a origem dos dados e analisar a linhagem de processos no Apache Flink. À medida que os dados em tempo real fluem através de modelos de AI, como os modelos de linguagem de grande porte (LLMs), é imperativo observar o comportamento desses programas de Flink. Em situações de falhas, reclamações de clientes ou solicitações de auditoria regulatória, a necessidade de insights se torna essencial.
Com um conjunto de painéis interativos projetados especificamente para o processamento de dados em fluxo em tempo real, a Datorios oferece uma plataforma que permite que as equipes identifiquem as causas raízes de problemas rapidamente. Essa nova funcionalidade inclui rastreamento correlacionado de falhas do sistema, o que facilita a identificação de problemas na estrutura dos dados, no código do Flink ou na infraestrutura computacional em execução.
Um aspecto notável da funcionalidade de Análise de Linhagem da Datorios é a capacidade de visualizar a trajetória dos dados ao longo dos trabalhos do Flink. Isso não apenas esclarece quando e como os dados mudaram, mas também facilita a identificação de membros da equipe que possuem conhecimento sobre o código ou a origem dos dados em questão, acelerando o processo de resolução de problemas. As capacidades de análise incluem visualização de linhagem, detalhamento do fluxo de dados e validação de dados, permitindo um processo investigativo upstream eficiente, tudo isso com um desempenho operacional otimizado.
o futuro da automação e o papel essencial da observabilidade
À medida que avançamos em direção a um futuro onde a AI e a automação são cada vez mais integradas nas operações empresariais, a necessidade de uma observabilidade robusta se torna indiscutível. As inovações da Datorios em integração com o Apache Flink não apenas demonstram uma adaptação às necessidades emergentes do setor, mas também posicionam as empresas que adotam essas tecnologias na vanguarda da transformação digital. Eventos como o AI & Big Data Expo, que acontecerão em Amsterdã, Califórnia e Londres, permitirão que líderes do setor compartilhem conhecimentos sobre as melhores práticas em AI e Big Data, fomentando um ambiente colaborativo para a inovação contínua.
Em suma, as inovações da Datorios em observabilidade não são apenas uma adição ao portfólio tecnológico, mas uma resposta às crescentes exigências das empresas que desejam operar de maneira eficiente e responsável em um mundo repleto de dados e automação.
