O guia imperdível de qualidade de dados: tudo o que você precisa para combater dados ruins

Nesse post você vai ter acesso aos conceitos, riscos, desafios e dicas essenciais sobre qualidade de dados. Use-o para identificar melhorias na sua empresa e servir como material de consulta e divulgação da importância da qualidade de dados no seu ecossistema!

Estrutura do post:

  • O que é qualidade de dados?
  • Riscos em qualidade de dados.
  • Desafios em qualidade de dados.
  • 6 dimensões da Qualidade de dados.
  • Métricas de qualidade de dados.
  • Testes de qualidade de dados.
  • Governança de dados.
  • Ferramenta de qualidade de dados.

Em um momento de evolução da experiência do cliente, erros são cada vez menos bem vindos, uma falha de alinhamento de informações internas pode causar atritos irreversíveis com clientes e com a imagem da sua empresa.

Tive duas experiências recentes que representam muito bem o tema, a primeira sobre segurança de dados e a segunda a respeito da validade dos dados.

Ao me cadastrar para uma nova provedora de internet, quase imediatamente, meus dados foram disponibilizados à terceiros que entraram em contato comigo se passando pela operadora a fim de coletar informações dos meus dados de cartão, ou seja, um golpe que tornou-se possível pela falta de segurança da informação da empresa que recebeu meus dados originalmente.

E a segunda, são as ligações de empresas procurando pessoas que não sou eu para cobrança, porém com meu número de telefone, revelando a ineficiência de gestão da validade dos dados.

Alguma dessas situações já aconteceu com você?

Ambas são causadas por questões relacionadas à Qualidade de dados!

O que é a qualidade de dados?

Qualidade de dados é o quão boa uma informações é para atender o objetivo pela qual foi coletada.

Ter dados de qualidade evita atritos com clientes, fornecedores e colaboradores, uma vez que, facilita decisões ao representar com fidelidade e confiabilidade o ambiente no qual estão envolvidos.

Buscar a eficiência em qualidade de dados é essencial para ter sucesso, pois ela afeta desde atividades simples como enviar novidades sobre seu produto por e-mail, como em atividades complexas como criar um cenário robusto de análise de dados na sua organização.

Riscos relacionados da baixa qualidade de dados

Uma empresa data-driven toma os dados como base principal das suas decisões, entretanto, caso a qualidade da base de dados seja insuficiente, haverão problemas.

Os dados ruins prejudicam a confiabilidade da sua organização e a afetam gerando diferentes tipos de riscos, sendo alguns deles:

Repassar informações equivocadas compromete a percepção do cliente sobre sua marca fazendo com que as pessoas se preocupem ou não confiem nos dados que são distribuídos pela sua empresa.

Devido as leis de proteção de dados e educação sobre o tema, vivemos um cenário crescente de preocupação em relação a segurança e qualidade de dados.

As pessoas estão cada vez mais atentas às notícias sobre como as empresas lidam com os dados e se afastam de organizações iresponsáveis que geraram vazamentos ou falhas de informações.

Vejas os 15 maiores vazamentos de dados do século 21 segundo o blog Computer World.

E veja o post que fiz no meu linkedin sobre como os dados afetam a vida de outras pessoas, aproveite e me dê um alô por lá! 🙂

Riscos Operacionais:

Um exemplo clássico de riscos operacionais são as previsões de demanda em uma linha de produção que nem sempre é capaz operacionalmente de corresponder a demandas com velocidade.

Uma vez que os dados de vazão de produtos não são conformes, a produção é prejudicada fazendo com que não existam estoques para atender a demanda dos clientes, ou seja, há perda de oportunidade de negócios.

Os riscos operacionais geram grandes riscos financeiros pela ausência ou excesso de recursos alocados.

Em uma equipe comercial, o efeito ter uma base de leads de alto volume repleta de dados inválidos é esperar grandes retornos em suas ações de marketing, porém, devido aos dados falsos os resultados se mostram menores que os esperados.

Riscos Estratégicos:

Os riscos estratégicos são gerados uma vez que dados de baixa qualidade geram viés nas decisões da organização.

Uma simples falha de tabulação de dados pode indicar que o melhor local para construir uma nova fábrica é, por exemplo, em São Paulo, ao invés do que no Rio de Janeiro, que deveria ser a melhor escolha.

Erros de organização como apresentados neste Post do Linkedin da Cassie Kozyrkov, Cientista Chefe de Decisão do Google, revelam como informações simples, mas mal tabuladas podem causar problemas na sua gestão de dados.

(Legenda: “Porque lidar com dados é 10% habilidade e 90% controle de raiva…”)

Riscos Tecnológicos:

Para criar um algoritmo inteligente são necessários dados de qualidade, uma vez que o algoritmo for baseado em diretrizes equivocadas, suas decisões também serão equivocadas.

Além disso, nutrir seus sistemas atuais com informações incoerentes causará a distribuição errônea para todo o resto da sua empresa caso não hajam técnicas de tratamento de dados capazes de impedir a pulverização de informações ruins como parte da sua inteligência de processamento de informações.

Riscos Financeiros:

Os riscos financeiros são os mais óbvios a esse ponto da nossa conversa, todos as falhas afetam decisões na empresa, sendo que, todas elas envolvem investimentos que tendem a não ter sucesso pelo viés da baixa qualidade de dados, ou seja, dinheiro perdido.

Já citamos em alguns posts aqui do Blog, mas vale repetir, que de acordo com a Gartner’s Data Quality Market Survey a baixa qualidade de dados gerou 15 milhões de dólares de prejuízo para as empresas em 2017!

Não será diferente em nenhuma das nossas empresas, utilizar dados indevidos nos levará a ter grandes prejuízos e riscos financeiros.

Problemas causados no dia a dia

Outros exemplos de problemas causados por baixa qualidade de dados são:

  • Cobranças indevidas;
  • Dificuldade para comunicação com os clientes;
  • Ineficiência em Analytics; e
  • Baixa eficiência no desenvolvimento de novos produtos.

Desafios em qualidade de dados

Tudo bem, agora está bem claro que a qualidade dos dados é importante, mas quais são os principais desafios em qualidade de dados?

Nós já falamos sobre os problemas em base de dados, corre lá e leia mais sobre o assunto, aqui, falaremos sobre os problemas estruturais de uma organização que são os causadores da ineficiência em qualidade de dados:

Incerteza sobre quais dados são necessários:

Precisamos superar a máxima de que “quanto mais dados melhor”, na realidade, sabemos que “quanto maior a qualidade dos dados, melhor”.

O primeiro passo para qualidade de dados é compreender quais dados realmente agregam valor à operação do seu negócio, para tal, é necessário listar como cada uma das informações coletadas são utilizadas e afetam suas decisões.

Identificar dados irrelevantes reduzirá o atrito de coleta, simplificará suas análises e aumentará sua performance.

Ineficiência na coleta de dados:

Por depender de processos ineficientes de coleta, as empresas acabam aceitando a entrada de grande quantidade de dados faltantes ou ruins.

São sistemas sem validações imediatas, colaboradores pouco treinados ou até mesmo excesso de informações exigidas dos clientes.

Uma das formas de melhorar a qualidade dos dados coletados é investir na Jornada de coleta de dados da sua empresa para reduzir atritos e ser mais assertivos nas coletas.

Além disso, estabelecer consultas em tempo real, ou seja, testes sobre o dado que está sendo adicionado na sua base de informações para impedir entradas inválidas, como por ex: validação de formato, consulta em bases externas, identificação de dados incoerentes e etc.

Veja por exemplo as táticas para validação de emails e dicas para coletar dados melhor.

Problemas com integração de dados

Não é necessário ser uma empresa tão grande para enfrentar problemas de integração de dados, é muito comum que diferentes equipes de uma mesma empresa utilizem diferentes ferramentas para gestão de dados, fazendo com que os formatos e informações tenham problemas de alinhamento.

O problema se agrava ainda mais quando são diferentes unidades de negócios, onde além de haver complicações internas, existem incompatibilidades de gestão externas.

A discussão de como reduzir a variedade de ferramentas pode gerar ótimas reduções de custos e complexidade, entretanto, nem sempre são possíveis.

As organizações que entendem e desejam resolver os problemas de integração de dados geralmente buscam ferramentas de ETL (extract, transform and load), que são responsáveis por extrair as informações de determinado local, transformá-la para gerar compatibilidade com o destino e carregá-las no sistema desejado.

Ausência de tratamento dos dados

Em termos de tratamento de dados, existem três principais problemas: as técnicas falhas ou ausência delas e a frequência de tratamento de dados.

Para que o tratamento de dados seja efetivo, deve-se realizar combinações de testes para chegar a conclusão de que um dados está devidamente tratado, utilizar somente técnicas de validação de formato, por exemplo, não garante que um dado é válido.

Por exemplo:

(00) 00000-0000


O formato do telefone está correto, porém, claramente os números presentes representam um dado inválido.

Além disso, quando as empresas realizam corretamente o processo de tratamento de dados, falham em relação à frequência, geralmente aplicando as técnicas em ondas, ou seja, trimestralmente ou anualmente.

A forma correta de tratar os dados é continuamente, desde a coleta e durante toda sua utilização através de algoritmos que testam de forma recorrente as informações presentes em sua base de dados.

Ausência da cultura de dados

O último, mas principal dos problemas é a ausência da cultura de dados dentro das empresas.

A cultura de dados é o senso comum dentro da empresa de que as decisões precisam ser tomadas com base em dados para todos tipos de situações, não há espaço para suposições.

A ausência da cultura de dados gera o descuido em relação aos processos de qualidade de dados, fazendo com que as pessoas tolerem e não busquem corrigir dados incoerentes e inválidos de uma organização, geralmente tomando decisões com base em achismos e opiniões sem fontes confiáveis.

As 6 dimensões da Qualidade de dados

Uma vez que vimos os problemas estruturais de uma empresa para gerar dados de qualidade, chegou a hora de entrarmos nas dimensões de um dado de qualidade!

A Data management Association (DAMA) apresenta e organiza as 6 dimensões da qualidade de dados para ajudar sua empresa a explorar o que são dados de qualidade, sendo elas:

Completude

A completude é o quão completo estão os dados para atender o propósito para o qual foram coletados.

O dado pode estar incompleto, como por exemplo, com a ausência de endereço, mas como o objetivo é apenas enviar um contato via e-mail, o dado é completo para aquela ação.

Consistência

A consistência significa que o dado tem os mesmos valores em diferentes locais de armazenamento desse dado, ou seja, não há incoerência sobre a informação dentro dos sistemas da empresa.

Conformidade

A conformidade significa que o dado segue os padrões determinados do formato estipulado como esperado.

Precisão

Consiste no quão bem o dado representa a realidade do tema, por exemplo: nº de vendas atualizados.

Caso os sistemas não sejam atualizados em tempo real, os números não serão os mesmos na loja e no sistema de gerenciamento, afetando a precisão de consulta e a consistência das informações.

Integridade

A integridade significa o quão os dados são válidos, se não houveram erros ou fraudes na informação em questão.

Disponibilidade

A disponibilidade é fator chave de uma informação, dado que precisa estar disponível com velocidade quando necessária.

Caso uma informação seja de difícil acesso, a qualidade do dado é prejudicada em termos de utilização.

As dimensões da qualidade dos dados nos ajudam avaliar um dado, mas como podemos gerir a qualidade de dados nas nossas empresas?

Como sempre: com métricas!

Métricas de qualidade de dados

Métricas são necessárias para qualquer tipo de gestão, inclusive a gestão da qualidade de dados.

Não são necessárias métricas complexas, precisamos somente de formas de acompanhar a variação da qualidade da informação, para tal, separamos 6 métricas relevantes para sua operação, utilize-as para compreender seu momento e identificar alterações que podem gerar problemas para sua empresa.

Proporção de dados e erros

Objetivo: Identificar a proporção entre dados e erros, demonstra o quão errônea está sua base de dados.

Quantidade de Valores Faltantes

Dados faltantes são um problema para as análises, identificar a quantidade de dados faltantes e buscar formas de preenchê-los será necessário para completar as análises desejadas.

Confira formas de preencher dados faltantes em: Dados faltantes, o que são e como lidar?

Taxas de erros de transformação

Consiste na mensuração dos erros de transformações que ocorrem principalmente nas utilizações dos sistemas de ETL para transmissão de dados entre gerenciadores de informação.

Quantidade de dados inutilizáveis

Contagem do número de dados coletados que são inapropriados para uso, ou seja, não tem qualidade suficiente para fazer parte da atividade pelo qual foi coletado.

Lembre-se de cruzar as origens de dados com a quantidade de dados inutilizáveis, desta forma você será capaz de identificar quais são os piores coletores de dados e trabalhar em melhorias.

Taxas de rejeição de e-mail

Métrica para gestão da qualidade dos dados de e-mail, mensure-a para agregá-la nas análises de desempenho de campanhas de marketing e comunicação com o cliente.

Custos de armazenamento

O custo de armazenamento pode ter aumentos de acordo com que a qualidade dos seus dados diminui, isso acontece quando bases de dados são duplicadas, dados não permitidos ou relevantes são coletados, ou há erro de armazenamento.

(Relatório de custos de uso AWS)

Testes de qualidade de dados

Agora que você já conhece as métricas chegou a hora de testar a qualidade dos seus dados, mão na massa!

Para isso você deverá seguir os seguintes passos:

  1. Defina as métricas que serão utilizadas;
  2. Aplique-as na base de dados selecionada;
  3. Avalie os resultados;
  4. Busque melhorias nos pontos fracos da sua base de dados!

Se você quiser uma forma mais simples e rápida de começar, vale conhecer o Método FAM, uma alternativa para teste e avaliação de base de dados!

Governança de dados

Uma vez que você identificar os problemas que possui em relação a dados, você notará a necessidade de implementar processos de governança de dados.

Governança de dados é o conjunto de processos que identifica quais dados são relevantes para a empresa e os organiza para garantir todos as seis dimensões da qualidade de dados e sua segurança.

Elementos essenciais de uma estrutura de governança de dados:

Suporte e financiamento: é necessário que a governança de dados seja apoiada operacionalmente e financeiramente pela empresa como um todo, principalmente começando pelos c levels da organização.

Engajamento: Que as pessoas consumidores e geradoras de dados compreendam e respeitem as determinações dos responsáveis pela governança.

Conselho de governança de dados: Um órgão formal que constitui a estrutura de governança e é responsável por implementá-la e fazer as manutenções necessárias durante todos os dias de operação.

Objetivos da governança de Dados

  • Minimizar os riscos causados por dados ruins;
  • Estabelecer regras internas para uso das informações;
  • Implementar requisitos de conformidade;
  • Melhorar a comunicação interna e externa;
  • Gerar mais valor com dados;
  • Facilitar a administração dos itens acima;
  • Reduzir custos;
  • Ajudar a garantir a existência contínua da empresa por meio do gerenciamento e otimização dos processos de qualidade de dados.

Membros da equipe de governança de dados


A ideia é que você contrate de acordo com a necessidade e complexidade da sua operação, mas aqui estão alguns dos principais cargos quando tratamos de uma equipe de governança de dados:

  • Gerente de Governança de Dados: Lidera o design, implementação e manutenção contínua do Controle e Governança de Dados em toda a corporação;
  • Arquiteto de governança de soluções e dados: fornece supervisão para projetos e implementações de soluções;
  • Analista de dados: usa análises para determinar tendências e revisar informações;
  • Estrategista de dados: desenvolve e executa planos de análise de padrão de tendência;
  • Especialista em conformidade: garantir a aderência aos padrões exigidos (jurídico, defesa, médico, privacidade).

Ferramenta de qualidade de dados

A BringData é uma ferramenta de tratamento de dados em tempo real, nosso objetivo é tornar as técnicas de melhoria de dados mais acessíveis para nossos usuários.

Disponibilizamos as funções de validação de dados de e-mail e telefone!

As funções de validação são capazes de colaborar na melhoria do seu alcance com clientes e prospects, fazendo com que suas conversões sejam maiores e a mensagem tão bem construída por vocês, seja entregue, crie uma conta gratuita!

Será um prazer ouvir seus feedbacks e trabalhar para criar uma excelentes plataforma de qualidade de dados!

Posts relacionados que você deveria conhecer:

Dica 1 – 4 passos para se tornar uma empresa Data-Driven

Dica 2 – Como organizar os seus dados de forma segura e distribuí-los corretamente

Dica 3 – Já validou sua base de e-mails? Saiba o que fazer para ter alta performance pós validação

Conclusão

Se você chegou até aqui, tenho que te dizer: meus parabéns, você está pronto para começar sua jornada de qualidade de dados!

Como vimos, não é necessário começar complexo, mas esta é uma área que pode ser trabalhada e aperfeiçoada continuamente.

Ter dados de confiança reduzirá custos, aumentará oportunidades e levará sua empresa a ter vantagens competitivas por lidar com informações relevantes com eficiência.

Siga os padrões de qualidade, avalie seu cenário, busque melhorias e crie processos para evoluir a qualidade dos seus dados.

E aí, está pronto para começar?

Conte comigo, será um prazer te ajudar nessa jornada!

Fale comigo nos comentários ou no meu e-mail fabio@bringdata.co!

Grande abraço!

Share

Fábio é CEO da BringData, empresa especializada em tratamento de dados de clientes, foi Diretor Comercial da Track.co, é administrador e especialista em gestão da experiência de clientes.

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Esse site utiliza o Akismet para reduzir spam. Aprenda como seus dados de comentários são processados.