Saneamento de dados: como limpar uma base cheia de erros e duplicidade

Resumo rápido: Saneamento de dados é o processo de corrigir, padronizar, completar e desduplicar uma base existente. É necessário quando os dados já se degradaram, mas tem uma armadilha: saneamento sem governança na entrada é enxugar gelo. Sem regra que impeça o erro de voltar, a base suja de novo em meses.

O mutirão que não resolve

Toda empresa que sofre com dado ruim, em algum momento, faz um mutirão. Contrata um saneamento, limpa a base, elimina duplicados, padroniza descrições, comemora. Seis meses depois, a bagunça voltou. Alguém pergunta o que deu errado. Nada deu errado no saneamento. O erro foi tratá-lo como evento único, sem mudar o que produz o dado ruim.

Esse é o aprendizado mais importante sobre saneamento: ele é necessário, mas não é suficiente. Limpar sem mudar a origem é repetir o problema no ciclo seguinte.

O que o saneamento realmente faz

Um bom saneamento passa por algumas etapas. Primeiro, o diagnóstico, que mede o tamanho do problema: quanto de duplicidade, quantos campos vazios, quantos padrões diferentes. Depois, a desduplicação, que identifica registros que representam a mesma entidade e os consolida. Em seguida, a padronização, que coloca as descrições e os formatos em um padrão único. E o enriquecimento e a complementação, que preenchem campos faltantes com fontes confiáveis, como bases oficiais para dados de fornecedores.

Cada etapa exige critério. Desduplicar, por exemplo, envolve decidir qual registro sobrevive e como preservar o histórico ligado aos que serão desativados. Feito sem cuidado, saneamento pode perder informação. Feito bem, ele devolve à empresa uma base confiável.

A desduplicação é mais delicada do que parece

Juntar dois registros do mesmo cliente parece trivial, mas envolve decisões. Qual dado prevalece quando os dois divergem? O que acontece com as transações ligadas ao registro que será desativado? Como garantir que não estamos unindo, por engano, duas entidades diferentes que só parecem iguais? A desduplicação bem-feita combina regras automáticas com revisão humana nas exceções. Automação demais une o que não devia; manual demais não escala. O equilíbrio é o ofício.

Saneamento sem governança é enxugar gelo

Aqui está o ponto central. Enquanto o processo de cadastro continuar permitindo dado ruim, a base vai se sujar de novo, não importa quantas vezes você limpe. A duplicidade volta porque o cadastro não verifica duplicidade na entrada. Os campos ficam vazios de novo porque o processo não os exige. As descrições desalinham porque não há padrão aplicado na origem.

Por isso saneamento e governança precisam andar juntos. O saneamento arruma o passado; a governança protege o futuro. Fazer um sem o outro é garantir retrabalho. O ideal é usar o saneamento como ponto de partida e, no mesmo movimento, ajustar o processo de entrada para o erro não voltar. Veja como implementar governanca de dados.

Quando o saneamento é urgente

Há momentos em que o saneamento vira prioridade inadiável. Uma migração de sistema, como a implantação de um novo ERP, é o mais comum: migrar dado sujo é levar o problema para a casa nova, geralmente com custo maior. Um projeto de MDM também começa quase sempre por um saneamento da base atual. E iniciativas de IA e analytics frequentemente esbarram na necessidade de limpar os dados antes de qualquer coisa funcionar. Nesses casos, saneamento não é opcional; é a fundação.

Saneamento e IA

Vale repetir, porque é onde muita empresa tropeça agora: IA não conserta dado ruim. Se você joga uma base suja em um modelo, ele aprende a sujeira e a reproduz com confiança. Saneamento é frequentemente o passo zero, pouco glamouroso, de qualquer projeto de IA que se pretenda sério. Pular essa etapa é construir sobre areia.

Enriquecimento: quando a base externa entra em cena

Uma parte pouco comentada do saneamento é o enriquecimento, que é completar e validar dados usando fontes externas confiáveis. Para fornecedores, por exemplo, é possível confrontar e complementar dados cadastrais com bases oficiais, verificando situação, razão social e outros atributos. Para materiais, o enriquecimento pode envolver associar itens a informações técnicas de referência. O enriquecimento é o que eleva a base de "sem duplicidade" para "sem duplicidade e confiável", que são coisas diferentes.

O cuidado aqui é com a fonte. Enriquecer com dado de origem duvidosa é trocar um problema por outro. Um bom enriquecimento usa fontes reconhecidas e mantém rastreabilidade da origem de cada dado, para que se saiba de onde veio e quão confiável é. Feito com critério, o enriquecimento transforma um cadastro esquelético em um cadastro completo. Feito sem critério, injeta ruído travestido de informação.

O custo de não sanear

Adiar saneamento tem um custo que se acumula em silêncio. Cada dia com a base suja é um dia de compras feitas sem enxergar o item já existente, de relatórios que precisam ser reconciliados na mão, de decisões tomadas sobre números que não batem, de risco fiscal correndo. Como esse custo é diluído, ele não aparece numa linha do orçamento, e por isso é fácil empurrar o saneamento para depois. Mas ele está lá, corroendo margem e tempo.

Existe também um custo de oportunidade que cresce a cada mês: enquanto a base está suja, todo projeto que depende de dados — IA, analytics, automação, um novo ERP — fica travado ou entrega menos do que poderia. A empresa investe em iniciativas modernas e elas patinam, porque a fundação não sustenta. Quando finalmente se decide sanear, descobre-se que teria sido mais barato ter feito antes, e que vários projetos frustrados no caminho tinham a mesma causa raiz não tratada. Saneamento não é despesa; é a remoção de um imposto invisível que a empresa paga todo mês sem perceber.

MDM Academy: saneamento com método

Saneamento de dados bem-feito é técnica, não força bruta. Envolve diagnóstico, regras de desduplicação, padronização, enriquecimento e, principalmente, a conexão com a governança para que o resultado dure. A MDM Academy, escola da 4MDG, ensina esse método a partir da experiência da 4MDG em saneamento de grandes bases de clientes, fornecedores e materiais. Para quem quer atuar com qualidade e governança de dados, saber sanear com critério — e evitar que a base suje de novo — é uma competência central que a formação desenvolve.

Como avaliar um projeto de saneamento

Nem todo saneamento é igual, e saber avaliar a qualidade de um projeto evita frustração. Um bom trabalho começa por um diagnóstico que quantifica o problema, não por promessas genéricas de "limpar a base". Ele deixa claro o critério de desduplicação, como decide qual registro sobrevive e como preserva o histórico dos que serão desativados. Ele combina automação com revisão humana nas exceções, em vez de confiar cegamente em regras automáticas ou de fazer tudo na mão. E, principalmente, ele se preocupa com o depois, propondo como evitar que a base suje de novo.

Esse último ponto é o que separa um saneamento maduro de um mutirão que só adia o problema. Se a conversa é apenas sobre limpar o que existe, sem tocar no processo de entrada que gera o dado ruim, o resultado tem prazo de validade. Perguntar "como vamos impedir que isso volte" é o teste decisivo. Um saneamento que se conecta à governança arruma o passado e protege o futuro no mesmo movimento. Um saneamento isolado entrega uma base bonita que vai se degradar previsivelmente. Ao avaliar qualquer iniciativa de limpeza de dados, o critério mais importante não é quão bem ela limpa, e sim se ela garante que a limpeza dure.

Vale guardar uma imagem que resume o assunto: saneamento sem governança é enxugar gelo, e governança sem saneamento é construir sobre um terreno que ainda precisa ser limpo. Os dois se completam. O saneamento devolve à empresa uma base confiável no presente; a governança impede que ela volte a se degradar no futuro. Tratados juntos, resolvem o problema de verdade. Tratados isoladamente, garantem retrabalho. Por isso, sempre que alguém propõe limpar a base, a pergunta que separa a solução do remendo é uma só: e depois, como impedimos que suje de novo? Quem responde bem a essa pergunta está fazendo governança, não apenas limpeza. E é essa combinação, saneamento para arrumar o presente e governança para proteger o futuro, que finalmente encerra o ciclo de limpar, sujar e limpar de novo em que tantas empresas ficam presas por anos.

Perguntas frequentes sobre saneamento de dados

O que é saneamento de dados? É o processo de corrigir, padronizar, completar e desduplicar uma base de dados que já se degradou.

Por que a base suja de novo após o saneamento? Porque saneamento sem governança na entrada não impede o erro de voltar. É preciso validar o dado na origem.

Saneamento é o mesmo que MDM? Não. Saneamento arruma o passado; MDM é a disciplina contínua que mantém os dados mestres saudáveis daí em diante.

Quando o saneamento é mais urgente? Em migrações de sistema, no início de projetos de MDM e antes de iniciativas de IA e analytics.

Dá para automatizar o saneamento? Em parte. Regras automáticas resolvem a maioria, mas as exceções, especialmente na desduplicação, exigem revisão humana para não perder ou unir dados errados.