process data from dirty to clean

Question 1

qual é a chave que garante a integridade dos dados?

Answer 1

dados limpos

Question 2

o que é integridade dos dados?

Answer 2

integridade dos dados é a precisão, completude, consistência e confiabilidade dos dados durante todo o seu ciclo de vida

Question 3

como a integridade dos dados pode ser comprometida?

Answer 3

por meio da replicação, transferência ou manipulação dos dados, ou ainda por erro humano, vírus, malware, hackers e falhas do sistema

Question 4

o que é replicação de dados?

Answer 4

é o processo de armazenamento de dados em vários locais diferentes

Question 5

o que é transferência de dados?

Answer 5

é o processo de copiar dados de um dispositivo de armazenamento para a memória ou de um computador para outro

Question 6

o que é manipulação de dados?

Answer 6

é o processo que envolve alterar os dados para torná-los mais organizados e fáceis de ler

Question 7

o que significa um bom alinhamento dos dados com o objetivo do negócio?

Answer 7

significa que os dados são relevantes e podem ajudar a resolver um problema ou a desenvolver uma estratégia

Question 8

quais são os tipos mais comuns de dados insuficientes?

Answer 8

dados de uma única fonte
dados que são constantemente atualizados
dados desatualizados
dados geograficamente limitados

Question 9

o que é população?

Answer 9

são todos os valores possíveis em um determinado conjunto de dados ou o grupo inteiro de interesse

Question 10

o que é amostra?

Answer 10

é uma parte da população que é representativa da população como um todo

Question 11

quando ocorre sampling bias?

Answer 11

quando uma amostra não é representativa da população como um todo, pois alguns membros podem estar sobre ou sub-representados

Question 12

o que é amostragem aleatória?

Answer 12

é uma forma de selecionar uma amostra de uma população de modo que todos os tipos possíveis de amostra tenham chances iguais de serem escolhidos

Question 13

qual é o número mínimo de amostras?

Answer 13

30

Question 14

o que é poder estatístico?

Answer 14

poder estatístico é a probabilidade de se obterem resultados significativos em um teste

Question 15

o que é hipótese estatística?

Answer 15

é uma forma de se verificar se uma pesquisa ou um experimento tem resultados significativos

Question 16

o que significa um teste estatisticamente significativo?

Answer 16

significa que os seus resultados são reais, e não um erro gerado pelo acaso

Question 17

o que é nível de confiança?

Answer 17

é a probabilidade de que a amostra reflete com precisão a população como um todo (entre 90 e 95%)

Question 18

o que é margem de erro?

Answer 18

é o valor máximo da diferença entre os resultados da amostra e os da população real

Question 19

o que é taxa de resposta estimada?

Answer 19

é a porcentagem de pessoas que você espera que concluam a pesquisa entre aquelas que as receberam

Question 20

o que são dados sujos?

Answer 20

dados sujos são dados incompletos, incorretos ou irrelevantes para o problema que você quer resolver

Question 21

o que fazem os engenheiros de dados?

Answer 21

engenheiros de dados transformam dados em um formato útil para análise e fornecem uma infraestrutura confiável

Question 22

o que fazem os especialistas em armazenamento de dados?

Answer 22

especialistas em armazenamento de dados (data warehousing) desenvolvem processos e procedimentos para armazenar e organizar os dados de maneira eficaz

Question 23

quais são os cinco tipos de dados sujos?

Answer 23

dados duplicados
dados desatualizados
dados incompletos
dados incorretos/imprecisos
dados inconsistentes

Question 24

o que é validação de dados?

Answer 24

validação de dados (data validation) é uma ferramenta para verificar a precisão e a qualidade dos dados antes de adicioná-los ou importá-los

Question 25

quais são os quatro princípios de integridade dos dados?

Answer 25

validade
precisão
completude
consistência

Question 26

o que é validade?

integridade dos dados

Answer 26

é o conceito de usar princípios de integridade de dados para garantir que as medidas estão em conformidade com regras ou restrições definidas

Question 27

o que é precisão?

integridade dos dados

Answer 27

é o grau de conformidade a um padrão ou um valor verdadeiro

Question 28

o que é completude?

integridade dos dados

Answer 28

é o grau em que todas as medidas necessárias são conhecidas

Question 29

o que é consistência?

integridade dos dados

Answer 29

é o grau em que um conjunto de medidas é equivalente entre sistemas

Question 30

o que é fusão de dados?

Answer 30

fusão de dados (data merge) é o processo de combinar dois ou mais conjuntos de dados em um único conjunto de dados

Question 31

o que é mapeamento de dados?

Answer 31

é o processo de correspondência de campos de um banco de dados para outro, o que é muito importante para o sucesso da migração e da integração de dados e para outras atividades de gerenciamento de dados

Question 32

o que é verificação?

Answer 32

é um processo para confirmar que a limpeza de dados foi bem executada e que os dados resultantes são precisos e confiáveis

Question 33

o que é um changelog?

Answer 33

é um arquivo que contém uma lista cronológica das modificações realizadas em um projeto

Question 34

o que é documentação?

Answer 34

é o processo de rastreamento de alterações, adições, exclusões e erros envolvidos na limpeza de dados

Question 35

quais são os quatro passos do processo de verificação?

Answer 35

1. voltar ao conjunto de dados sujos original e compará-lo ao conjunto de dados limpos. revise os dados sujos e tente identificar problemas comuns
2. ter uma visão geral do projeto (big-picture view), para confirmar que você está se concentrando no problema e nas metas gerais
3. pedir a um colega para revisar os dados e dar feedbacks
4. verificar se há algo suspeito ou potencialmente problemático nos dados