Big Data: é a área do conhecimento que estuda como
tratar, analisar e obter informações a partir de conjuntos de dados grandes demais para serem analisados por sistemas tradicionais.
Simplificando, big data é um conjunto de dados maior e mais complexo, especialmente de novas fontes de dados. Esses conjuntos de dados são tão volumosos que o software tradicional de processamento de dados simplesmente não consegue gerenciá-los. No entanto, esses grandes volumes de dados podem ser usados para resolver problemas de negócios que você não conseguiria resolver antes.
Visão Geral: Um data lake é um repositório de grandes quantidades de dados brutos díspares em um formato nativo que facilita a manipulação de outro recurso: big data. Com um data lake, você obtém uma visão bruta de seus dados. Esta estratégia de gestão é cada vez mais utilizada por empresas que necessitam de grandes repositórios monolíticos para armazenar dados.
Dados Brutos: Quando dizemos que os dados são brutos, é porque não foram processados para uma finalidade específica. Os cientistas de dados podem acessar informações brutas quando necessário por meio de modelagem preditiva ou ferramentas analíticas mais avançadas.
Utilização dos Dados: Todos os dados são preservados ao usar o data lake: nenhum dado é excluído ou filtrado antes do armazenamento. Os dados podem ou não ser analisados no futuro, ou podem ser usados várias vezes para diferentes finalidades.
O termo Data Lake: Foi cunhado por James Dixon, CTO do Pentaho. Descrever esse tipo de repositório como um lago é apropriado porque armazena um conjunto de dados em seu estado natural, como um corpo de água não filtrado ou contido. Os dados fluem para o data lake de várias fontes e são armazenados em seu formato original.
transformados aplicando o esquema somente quando precisam ser analisados. Esse processo é chamado de "modo de leitura" porque os dados permanecem intactos até que estejam prontos para serem usados.
Armazenamento de dados: Em um data lake, os dados são transformados aplicando o esquema somente quando precisam ser analisados. Esse processo é chamado de "modo de leitura" porque dados permanecem intactos até que estejam prontos para serem usados.
Acessar e Explorar: Com um data lake, os usuários podem acessar e explorar os dados da maneira que quiserem sem movê-los para outro sistema. Muitas vezes, coletar insights (informações ocultas em dados) e gerar relatórios de um data lake é ad hoc: os usuários não precisam extrair constantemente relatórios de análise de outra plataforma ou tipo de repositório. No entanto, o usuário pode aplicar o esquema e replicar o relatório automaticamente, se desejar.
O que é Ad hoc: Esta é uma expressão latina que se traduz literalmente como "para isso" ou "para esse propósito". Geralmente é usado principalmente em um contexto legal, mas também para "fins específicos". Exemplo: advogado "temporário".
O cuidado que se deve ter com essa tecnologia: Os data lakes exigem governança e manutenção contínuas para que os dados possam ser usados e acessados. Sem esse controle, eles correm o risco de se tornar lixo eletrônico - inacessíveis, volumosos, caros e inúteis. Os data lakes aos quais os usuários não têm acesso são chamados de "data swamps", em alusão aos lagos.
DATA LAKE
O QUE E?
por carolina de cassia