20 min
O que medir
As quatro dimensões do pipeline e a diferença entre métrica técnica e de negócio.
Instrumentar o pipeline para que o defeito seja descoberto pela equipe de dados antes de ser descoberto pelo negócio, com indicadores, objetivos declarados e detecção de anomalia sobre a própria série de execuções.
Computação 1 · Prof. Afonso Brandão · 21/09/2026
Continuidade · das Aulas 12 e 13 para a Aula 15
A extração e a transformação foram construídas com testes e replay. Esta aula trata de como a equipe descobre o defeito antes que o número errado chegue à reunião de fechamento.
Roteiro · 120 minutos · uma hora de exposição, uma hora de prática
A segunda hora é atividade em grupo: transformar a tabela de controle em painel de telemetria, declarar objetivos e detectar uma anomalia injetada.
As quatro dimensões do pipeline e a diferença entre métrica técnica e de negócio.
Métrica, log e linhagem; indicador, objetivo e orçamento de erro.
Alertar por sintoma, detectar anomalia e conduzir o diagnóstico pelo grafo.
Painel de telemetria e detecção de uma anomalia injetada pelo professor.
Bloco 1 · O que medir
A execução bem-sucedida informa apenas que o processo terminou. As quatro dimensões informam se o resultado é utilizável.
Distância entre o instante do fato na origem e o instante em que ele fica consultável no destino.
Proporção do que a origem tem e o destino recebeu, medida por reconciliação de contagem e de soma.
Taxa de registros rejeitados pelos testes, com o motivo classificado e a série acompanhada ao longo do tempo.
Bytes varridos e tempo de processamento por execução, atribuídos ao domínio responsável.
Bloco 1 · Dois públicos
As duas são necessárias, e servem a decisões distintas. Confundi-las produz alerta que ninguém sabe priorizar.
| Pergunta | Métrica técnica | Métrica de negócio | Quem age |
|---|---|---|---|
| O dado está atual? | Atraso da marca d'água em horas | Data do último pedido visível no painel | Engenharia decide reprocessar |
| Está completo? | Linhas carregadas por execução | Receita do dia contra a média das quatro semanas | Negócio decide se apresenta |
| Está correto? | Registros rejeitados por motivo | Pedidos sem categoria atribuída | Governança decide a regra |
| Está caro? | Bytes varridos por execução | Custo por relatório publicado | Produto decide a frequência |
Bloco 2 · Instrumentação
Coletar os três custa espaço e disciplina. Coletar apenas um deles reduz o diagnóstico a suposição.
quanto, e como variou
Valor numérico agregado por janela: duração, linhas, bytes, rejeitados. Barata de guardar e adequada para série histórica, alerta e comparação com o comportamento habitual.
Limite: não explica por que o valor mudou.
o que aconteceu, em que ordem
Evento datado com contexto: lote, parâmetros, erro, quantidade rejeitada e onde os rejeitados foram gravados. É a tabela de controle da Aula 12, agora consultada como série.
Limite: cresce rápido e exige política de retenção.
o que mais foi afetado
Grafo de dependência entre tabelas e cargas. Responde quais painéis consomem a tabela defeituosa e quais precisam ser reprocessados depois da correção.
Limite: só é confiável quando gerada, e não mantida à mão.
Bloco 2 · Objetivo declarado
Sem limite declarado, toda variação é discutível e nenhuma é acionável.
Proporção de cargas diárias concluídas com atraso da marca d'água inferior a três horas, medida sobre a tabela de execuções.
Ao menos 98% das cargas do mês dentro do limite. O número é acordado com quem consome, e não definido apenas pela engenharia.
Os 2% restantes são a margem disponível. Consumida a margem, a prioridade passa da entrega de novas fontes para a estabilização do que existe.
Bloco 2 · Custo da própria telemetria
Retomada da cardinalidade discutida na Aula 10, agora aplicada aos rótulos das métricas.
Identificador único pertence ao registro de execução, e não ao rótulo da métrica. A métrica existe para comparar séries ao longo do tempo, o que exige que o mesmo rótulo se repita entre execuções.
Detalhe por execução nos últimos dias, agregação horária nas semanas seguintes e diária no histórico longo. É a política de ciclo de vida da Aula 10 aplicada à própria observabilidade.
Bloco 3 · Anomalia
O volume diário varia por sazonalidade. O limite fixo produz alerta falso na segunda-feira e silêncio no dia em que metade dos registros não chega.
A média das últimas quatro ocorrências do mesmo dia da semana absorve a sazonalidade semanal. O desvio relevante é o que ultrapassa a variação habitual dessa série, e não um percentual fixo.
A queda de volume costuma indicar carga incompleta, e a alta costuma indicar duplicação. As duas merecem alerta, com limites e destinatários próprios.
Bloco 3 · Alerta
Alertar por causa produz um alerta por modo de falha conhecido, e nenhum para o modo ainda desconhecido.
| Alerta por causa | Alerta por sintoma | Por que o segundo é preferível |
|---|---|---|
| A tarefa de extração falhou | Os pedidos estão desatualizados há mais de três horas | Cobre também a tarefa que concluiu com sucesso sem trazer dado |
| A conexão com a origem expirou | A completude do dia está abaixo de 99% | Cobre perda parcial, que a falha de conexão não produz |
| O teste de unicidade reprovou | A receita do dia diverge da origem acima da tolerância | Traduz o defeito técnico no efeito que o negócio observa |
Segunda hora · Card de trabalho em sala
Em grupo, sobre a tabela de execuções das Aulas 12 e 13: instrumentar, declarar objetivos e detectar a anomalia.
Calcule atualidade, completude, qualidade e custo sobre a série, com uma consulta por indicador.
Defina um objetivo por indicador e justifique o número pelo efeito no consumidor.
O professor injeta uma falha silenciosa. Meça quantas cargas passaram até o alerta disparar.
Segunda hora · Preparação · 10 minutos
O laboratório reaproveita a tabela criada na Aula 12, agora com trinta dias de execuções simuladas para haver série sobre a qual medir.
Segunda hora · Indicadores · 15 minutos
Cada grupo escreve as quatro e registra o valor obtido, que servirá de base para os objetivos do passo seguinte.
Segunda hora · Objetivos · 10 minutos
A justificativa é a parte avaliada. O número sem justificativa não é objetivo de serviço, e sim palpite registrado.
| Indicador | Objetivo proposto | Justificativa exigida | Consequência do descumprimento |
|---|---|---|---|
| Atualidade | 98% abaixo de 3 h | A que horas o consumidor abre o painel, e o que ele decide com ele | Aviso de defasagem exibido no painel |
| Completude | Desvio até 5% da referência | Qual variação já ocorreu por causa legítima nos últimos 30 dias | Publicação suspensa até a conferência |
| Qualidade | Rejeição até 0,1% | Quantos registros o negócio aceita perder sem alterar a decisão | Revisão da regra com a governança |
| Custo | Dentro do orçamento do domínio | Qual é o orçamento mensal e quantas cargas cabem nele | Redução da frequência de carga |
Segunda hora · Anomalia · 15 minutos
Execute o bloco abaixo e observe quantas execuções passam até o alerta do grupo disparar.
Nenhum teste técnico reprova: a chave é única, os tipos estão corretos e não há nulo indevido. O único sinal disponível é a comparação com o comportamento habitual daquele dia da semana.
Um limite de 15% detecta na primeira execução. Um limite de 50% deixa passar, e a divergência entra no relatório do dia sem nenhum registro de que algo ocorreu.
Segunda hora · Conferência
Números esperados em cada etapa, sobre a série de trinta execuções gerada no início do laboratório.
| Etapa | O que verificar | Referência |
|---|---|---|
| Série gerada | Contagem e variação semanal | 30 execuções, com fins de semana perto de 1 200 linhas |
| Atualidade | Atraso mediano da carga | Aproximadamente 2 horas em toda a série |
| Referência móvel | Média das quatro ocorrências anteriores | Próxima de 3 150 em dia útil e de 1 350 no fim de semana |
| Anomalia | Desvio da execução injetada | Cerca de 40% abaixo da referência do mesmo dia da semana |
| Limite de 15% | Execuções marcadas na série inteira | Somente a injetada, sem alertas falsos |
| Limite de 5% | Execuções marcadas na série inteira | Várias, o que demonstra o custo da sensibilidade excessiva |
Segunda hora · Uso de IA · em paralelo
A escolha do limite é decisão de produto, e o assistente não dispõe do contexto de consumo necessário para tomá-la.
"A partir deste schema da tabela de execuções, escreva uma consulta por dimensão: atualidade, completude, qualidade e custo, cada uma devolvendo série diária."
"Escreva a referência móvel por dia da semana, excluindo o dia corrente da média, e explique por que a inclusão do próprio dia impediria a detecção."
"Aponte quais modos de falha desta carga não seriam detectados por nenhum destes alertas, e o que precisaria ser medido para cobri-los."
Confirme que a janela da média exclui a execução em avaliação.
Execute o alerta contra a série inteira e conte os falsos positivos antes de adotá-lo.
Registre o prompt junto da consulta, uma vez que ele integra o registro da decisão.
Ponte com a Aula 1 · Spec-Driven Development
A decisão de observabilidade entra no projeto como requisito, decisão registrada e critério verificável.
Registrar, para cada carga, atualidade, volume, taxa de rejeição e custo, com série consultável de noventa dias.
98% das cargas diárias com atraso inferior a 3 h; desvio de volume acima de 15% da referência detectado na primeira execução; telemetria com retenção decrescente por idade.
Alerta por sintoma observável pelo consumidor, em vez de alerta por falha de tarefa. Contexto: a carga que conclui sem trazer dado não gera falha. Consequência: exige referência histórica por dia da semana.
Dada uma carga que conclui com 40% menos linhas que a referência do mesmo dia da semana, quando a verificação de anomalia executa, então o alerta dispara e a publicação fica suspensa.
Entrega do card de trabalho
O que o grupo entrega ao final da segunda hora, e o que será conferido.
As quatro consultas de indicador, a consulta de anomalia com o limite adotado, a justificativa de cada limite pelo efeito no consumidor e o número de alertas falsos que o limite produziria na série de trinta dias.
Os quatro indicadores estão calculados sobre a série, com valor medido.
A referência móvel exclui o dia em avaliação e respeita o dia da semana.
Cada limite é justificado pelo efeito no consumidor, e não pela facilidade.
A anomalia injetada foi detectada, com o desvio medido em percentual.
O número de alertas falsos do limite adotado está contado na série inteira.
Cada alerta tem procedimento correspondente e destinatário declarado.
Autoestudos · antes do próximo encontro
Quanto tempo o dado incorreto permanece publicado antes de alguém perceber, e o que reduziria esse tempo?
Leia observando como o capítulo distingue indicador, objetivo e acordo, e traduza os três para o pipeline do seu parceiro.
sre.google · capítulo DocumentaçãoCompare a tipologia de sinais do padrão com os três discutidos em aula, e identifique qual deles o seu pipeline hoje não produz.
opentelemetry.io · documentação DocumentaçãoEstude a cláusula de moldura usada na referência móvel do laboratório e teste como o resultado muda ao incluir a linha corrente.
duckdb.org · documentaçãoAula 15 · Síntese
Métricas e Telemetria em ETLs · 21/09/2026 · Prof. Afonso
Ao final do encontro, o estudante deve ser capaz de definir indicadores de atualidade, completude, qualidade e custo para um pipeline, declarar objetivos de nível de serviço justificados pelo efeito no consumidor e construir uma verificação de anomalia capaz de detectar carga incompleta que conclui sem erro.
Primeira hora de exposição dialogada em três blocos, cada um encerrado por checklist de aplicação e erro comum. Segunda hora de atividade em grupo: os estudantes convertem a tabela de controle das Aulas 12 e 13 em série de execuções, calculam os quatro indicadores, declaram um objetivo por indicador com justificativa e detectam uma anomalia injetada pelo professor, medindo também quantos alertas falsos o limite escolhido produziria.