Ch rla T cnológica poder de la transmisión en 2023 , los equipos de datos deberán mirar más allá de la pila tradicional orientada a lotes y adoptar una perspectiva nativa de transmisión para la arquitectura de análisis .
Cuando nos fijamos en las operaciones comerciales , históricamente hemos vivido en un mundo de datos dominante por lotes . El objetivo final de la infraestructura de datos era identificar los datos en un momento fijo en el tiempo y almacenarlos para su uso final . Pero en la evolución de los mainframes que usaban operaciones diarias por lotes hasta el mundo actual impulsado por Internet y siempre activo , lo que una vez fueron “ datos en reposo ” son reemplazados por datos en movimiento de rápido movimiento . Con la transmisión , la información fluye libremente entre aplicaciones y sistemas de datos dentro y entre organizaciones .
Si bien los “ datos en reposo ” todavía existen y continúan admitiendo una serie de casos de uso de informes , la realidad no es fija . Para satisfacer la necesidad de experiencias de datos auténticas y sin problemas , los sistemas que construimos deben estar diseñados para datos en movimiento .
Con la popularidad de la tecnología de transmisión en aumento , también lo es una nueva forma de pensar con respecto a los datos . Las plataformas de streaming se convirtieron en el centro de datos central para las organizaciones , conectando todas las funciones e impulsando las operaciones críticas . Los procesadores de flujo y las bases de datos de eventos son tecnologías en evolución diseñadas específicamente para admitir y manejar sistemas de datos en movimiento .
Como base de datos en tiempo real , Apache Druid encaja en la categoría especialmente diseñada . Está diseñado para permitir a los usuarios consultar eventos a medida que se unen al flujo de datos a una escala inmensa , al tiempo que permite consultas de subsegundos en una combinación de datos por lotes y de flujo .
Muchas empresas ya están utilizando procesadores de streaming como Amazon Kinesis y Kafka with Druid para hacer sistemas de vanguardia que hacen que los terabytes de datos de streaming sean accesibles para personas y aplicaciones en milisegundos . Reddit , Citrix y Expedia fueron algunas de las empresas destacadas en Current 2022 , el evento anual de streaming organizado por Confluent , por hacer precisamente eso .
La capacidad de reaccionar a los eventos a medida que suceden es el siguiente paso de la evolución de los datos , y para algunos , ese siguiente paso ya está aquí . Aun así , solo estamos al comienzo de una curva ascendente donde el streaming y la tecnología construida para ello se convierten en la base de la arquitectura de datos de todos .
Ahora , cuando se trata de habilitar análisis escalables de menos de un segundo en datos de transmisión , muchos desarrolladores e innovadores de datos se preguntan ‘¿ qué sigue ?’
Mientras estábamos en Current , hablamos con cientos de usuarios de Kafka que tenían la misma pregunta .
Julia Brouillette , tecnóloga sénior en Imply
A pesar de que la adaptación de streaming se está generalizando , la mayoría de las empresas todavía solo
76 INTELLIGENTCIO LATAM www . intelligentcio . com / latam-es