Governança de dados: Catálogo de dados

Introdução a Catálogo de Dados - Apresentação

Apresentando o instrutor e sua experiência

Olá! Meu nome é Felipe Trombini e serei o instrutor ao longo deste curso, no qual exploraremos o tema de catálogos de dados.

Audiodescrição: Felipe é um homem de pele clara, 38 anos, com cabelos castanhos na altura dos olhos, também castanhos, e barba curta. Ele veste uma camiseta preta e está no estúdio da Alura.

Antes de começarmos a entender o assunto de hoje, gostaria de compartilhar um pouco da minha trajetória, composta por 22 anos de experiência no mercado de trabalho, sempre estudando dados de diferentes setores, tanto dentro quanto fora do Brasil.

Introduzindo o tema do curso

Aprendemos sobre decisões orientadas por dados e evoluímos o nível de maturidade em relação ao motivo pelo qual essas decisões foram tomadas. Foi isso que nos trouxe aqui para compartilhar essas experiências.

Hoje, vamos gerar consciência sobre a importância de utilizar um catálogo de dados e como ele sustenta a confiabilidade e a estratégia do negócio. Discutiremos como os dados são transformados em um ativo organizacional e por que eles precisam de orientações na sua identificação e usabilidade.

Esperamos que aproveitem o conteúdo de hoje e que também nos acompanhem ao longo dos próximos vídeos. Até lá!

Introdução a Catálogo de Dados - Introdução ao catálogo

Introduzindo o problema da falta de visibilidade dos dados

Vamos começar com uma pergunta simples e queremos que pensem em situações reais da sua empresa. Já participaram de uma reunião em que alguém perguntou qual é o número oficial de clientes da empresa? E, ao invés de uma resposta, surgiram três números diferentes: um do comercial, outro do financeiro e outro do BI. Nesse momento, a discussão deixa de ser sobre a estratégia e se transforma em uma disputa sobre qual dado está correto. Isso não é falta de dado; é mais provável que seja a falta de visibilidade. É exatamente esse problema que vamos começar a resolver aqui.

Após muitos anos trabalhando com dados em empresas de diferentes tamanhos, podemos afirmar com segurança que hoje praticamente nenhuma empresa sofre por falta de dados. O problema é outro. As empresas não sabem quais dados existem, onde estão, quem é o responsável e se podem confiar neles. Os dados estão presentes em bancos, planilhas, data lakes, ferramentas de BI, mas permanecem invisíveis do ponto de vista do negócio. Invisíveis porque não têm contexto, não têm responsável, e ninguém sabe se aquele dado pode ou não ser usado para uma tomada de decisão. A consequência disso pode ser retrabalho, decisões ruins, desconfiança e, muitas vezes, conflitos entre áreas.

Exemplificando a falta de clareza na gestão de dados

Vamos trazer isso para um exemplo concreto que já vimos acontecer diversas vezes. Imagine um analista novo na empresa, em seu primeiro mês, empolgado e querendo entregar resultados.

Ele recebe uma tarefa simples: montar um relatório com a base de clientes ativos e começa a procurar os dados. Encontra uma tabela no ERP, outra no data lake e uma terceira já tratada no BI. Todas têm o nome "clientes", mas nenhuma explica claramente qual é a oficial, qual está mais atualizada e qual considera cliente ativo ou inativo. No fim, ele escolhe uma, normalmente a mais fácil de acessar, e entrega o relatório.

Na reunião, alguém pergunta: "Mas esse número está diferente do que vimos na semana passada." Pronto. Aí começa o problema. Ninguém mais discute o negócio; todos ficam discutindo o dado. Repare que, nesse exemplo, o problema não é a tecnologia. Os dados existem, as ferramentas existem. O problema é que esses dados não são tratados como ativos corporativos.

Apresentando a solução: o catálogo de dados

É exatamente aqui que entra o catálogo de dados. O catálogo não é apenas uma lista técnica de tabelas. Melhor dizendo, ele é uma camada semântica e organizacional entre os dados e as pessoas. É no catálogo que respondemos perguntas como: o que esse dado significa, quem é o responsável, para o que ele serve e se ele é confiável. Quando o catálogo existe, o dado deixa de ser invisível e passa a ter um contexto, um responsável, um propósito.

Anunciando o próximo tema: diferenças entre inventário técnico, catálogo de dados e Data Marketplace

No próximo vídeo, vamos esclarecer uma confusão muito comum: a diferença entre inventário técnico, catálogo de dados e Data Marketplace (mercado de dados). Para quem entende essa diferença, muda completamente a forma como estruturamos dados na empresa. Até lá.

Introdução a Catálogo de Dados - Inventário, Catálogo e Marketplace

Introduzindo conceitos de inventário, catálogo e Data Marketplace

Se trabalhamos com dados há algum tempo, provavelmente já ouvimos os termos inventário de dados, catálogo de dados e Data Marketplace (mercado de dados) sendo usados quase como sinônimos. Em muitas empresas, cada pessoa utiliza um nome diferente para a mesma coisa, o que pode gerar decisões erradas desde o início. Embora esses conceitos se relacionem, eles resolvem problemas completamente diferentes.

Explicando o inventário de dados

Vamos começar pelo inventário de dados. O inventário responde a uma pergunta muito objetiva: onde está o dado? Ele lista tabelas, colunas, bancos, esquemas e tipos de dados. Trata-se de uma visão técnica, normalmente criada e mantida pela área de tecnologia ou engenharia de dados. O inventário é extremamente importante, pois sem ele, a operação técnica não funciona. No entanto, aqui está um ponto crítico que observamos na prática: o inventário não explica o dado para o negócio. Ele pode indicar que existe uma coluna chamada Val Liquido Fact, mas não explica se é faturamento bruto, líquido, estimado ou ajustado, por exemplo.

Descrevendo o catálogo de dados

É exatamente aqui que entra o catálogo de dados. O catálogo não substitui o inventário; ele se apoia nele. O catálogo faz algo que o inventário não faz: ele adiciona contexto. No catálogo, aquela mesma coluna passa a ter significado. O que esse dado representa no negócio? Quem é o responsável? Como ele deve ser usado? Em quais relatórios ele aparece? O catálogo responde a perguntas humanas, não apenas técnicas.

Quando observamos um catálogo bem implementado, percebemos que a empresa está tratando os dados como ativos estratégicos, e não apenas como arquivos armazenados.

Explorando o Data Marketplace

Vamos agora dar um passo além: o Data Marketplace (Mercado de Dados). O Marketplace surge quando a empresa já atingiu um nível de maturidade maior. Aqui, o foco não é mais apenas entender os dados, mas consumi-los como produtos. No Marketplace, encontramos datasets (conjuntos de dados) prontos para uso, certificados, com regras claras de acesso, SLAs (Acordos de Nível de Serviço) e até custos associados. Em algumas empresas, isso inclui a monetização interna ou externa dos dados.

Comparando inventário, catálogo e Data Marketplace

Percebamos a diferença: o inventário organiza tecnicamente, o catálogo explica e o Marketplace entrega valor. Vamos dar um exemplo simples e real. Imagine que desejamos almoçar em um restaurante novo. O inventário seria a lista de ingredientes disponíveis na cozinha. É importante, sim, mas não ajuda a escolher o prato. O catálogo é o cardápio, que explica o prato, os ingredientes, a forma de preparo e para quem ele é indicado. Já o Marketplace é quando pedimos o prato, pagamos por ele e recebemos algo pronto para consumo.

Destacando a importância de cada ferramenta

Quando uma empresa tenta criar um Marketplace sem um catálogo, o resultado pode ser um pouco desorganizado. Se ela possui um catálogo, mas não tem um inventário, há uma falta de base técnica. Cada um tem seu papel e seu momento certo. Portanto, sempre que alguém perguntar qual ferramenta a empresa precisa adquirir, a resposta não é imediata. Primeiro, é necessário entender se estamos organizando tecnicamente, organizando os dados ou entregando valor direto ao negócio.

Concluindo e introduzindo o próximo vídeo

No próximo vídeo, vamos explorar o mercado de ferramentas e entender como essas ideias se materializam na prática. Até lá!

Sobre o curso Governança de dados: Catálogo de dados

O curso Governança de dados: Catálogo de dados possui 39 minutos de vídeos, em um total de 39 atividades. Gostou? Conheça nossos outros cursos de Governança de Dados em Data Science, ou leia nossos artigos de Data Science.

Matricule-se e comece a estudar com a gente hoje! Conheça outros tópicos abordados durante o curso:

• Introdução a Catálogo de Dados
• Gerações de Catálogos de Dados
• Catálogo como ferramenta principal de Governança
• Catálogos de Dados Corporativos
• Utilização do Catálogo na Prática