P po T cnológico em tempo real . Para liberar totalmente o poder do streaming em 2023 , as equipes de dados precisarão olhar além da pilha tradicional orientada a lotes e adotar uma perspectiva nativa de streaming para a arquitetura analítica .
Quando você olha para as operações de negócios , historicamente vivemos em um mundo de dados dominante em lote . O objetivo final da infraestrutura de dados era identificar os dados em um momento fixo no tempo e armazená-los para uso eventual . Mas na evolução dos mainframes que usavam operações diárias em lote para o mundo sempre ativo e orientado para a Internet de hoje , o que antes era “ dados em repouso ” é substituído por dados velozes em movimento . Com o streaming , as informações fluem livremente entre aplicativos e sistemas de dados dentro e entre as organizações .
Embora os “ dados em repouso ” ainda existam e continuem a oferecer suporte a vários casos de uso de relatórios , a realidade não é fixa . Para atender à necessidade de experiências de dados perfeitas e autênticas , os sistemas que construímos devem ser projetados para dados em movimento .
Com o aumento da popularidade da tecnologia de streaming , surge também uma nova maneira de pensar em relação aos dados . As plataformas de streaming tornaram-se o hub central de dados para as organizações , conectando todas as funções e conduzindo operações críticas . Processadores de fluxo e bancos de dados de eventos são tecnologias em evolução que são desenvolvidas especificamente para suportar e lidar com sistemas de dados em movimento .
Como um banco de dados em tempo real , o Apache Druid se encaixa na categoria de propósito específico . Ele foi projetado para permitir que os usuários consultem eventos à medida que se juntam ao fluxo de dados em uma escala imensa , ao mesmo tempo em que permitem consultas de subsegundos em uma mistura de dados em lote e fluxo .
Muitas empresas já estão usando processadores de streaming como Amazon Kinesis e Kafka com Druid para criar sistemas de ponta que tornam terabytes de dados de streaming acessíveis a pessoas e aplicativos em milissegundos . Reddit , Citrix e Expedia foram algumas das empresas destacadas no Current 2022 , o evento anual de streaming organizado pela Confluent , por fazer exatamente isso .
A capacidade de reagir a eventos conforme eles estão acontecendo é a próxima etapa da evolução dos dados e , para alguns , essa próxima etapa já está aqui . Mesmo assim , estamos apenas no início de uma curva ascendente em que o streaming e a tecnologia criada para ele se tornam a base da arquitetura de dados de todos .
Agora , quando se trata de permitir análises escaláveis de subsegundos em dados de streaming , muitos desenvolvedores e inovadores de dados estão se perguntando “ o que vem a seguir ?” Enquanto estávamos na Current , conversamos com centenas de usuários do Kafka que tinham a mesma dúvida .
Julia Brouillette , tecnóloga sênior da Imply
Embora a adaptação ao streaming esteja se tornando mais difundida , a maioria das empresas ainda tem
76 INTELLIGENTCIO AMÉRICA LATINA www . intelligentcio . com / latam-pt