A limpeza que apaga o sinal

Peça ajuda para "limpar os dados" e vem uma receita padrão: remover outliers acima de 3 desvios, preencher nulos com a média, remover duplicatas. As três operações são defensáveis em algum contexto e destrutivas na maioria.

1. O outlier costuma ser o assunto

# remove outliers
q1, q3 = df.valor.quantile([0.25, 0.75])
iqr = q3 - q1
df = df[(df.valor >= q1 - 1.5*iqr) & (df.valor <= q3 + 1.5*iqr)]

print(f"removidas {removidas} linhas")  # removidas 187 linhas

extremos = df[df.valor > df.valor.quantile(0.99)]

print(extremos.groupby('segmento').agg(
    n=('valor','size'),
    total=('valor','sum'),
    pct_receita=('valor', lambda s: s.sum()/df.valor.sum()*100)
))

# segmento     n   total        pct_receita
# corporativo  184 R$ 718.400   34,1
# erro_import    3 R$  90.000    4,3   ← valor 1000x, mesmo minuto

A diferença: Outlier estatístico não é sinônimo de erro. Em receita, uso e tempo de resposta, os extremos costumam ser exatamente o fenômeno de interesse. A pergunta é sempre: este valor é impossível, ou apenas incomum?

2. Nulo tem motivo

Preencher nulo com a média é o conselho mais dado e o mais perigoso, porque ele inventa dado com aparência de dado. Antes de escolher o tratamento, descubra por que está faltando:

A quarta linha é a mais sutil: quem não informa renda difere sistematicamente de quem informa. Imputar a média apaga esse sinal e ainda estreita artificialmente a variância.

def diagnostico_nulos(df):
    for col in df.columns:
        n = df[col].isna().sum()
        if n == 0:
            continue
        pct = n / len(df) * 100
        print(f"\n{col}: {n} nulos ({pct:.1f}%)")

        # A ausência está concentrada em algum grupo? Se sim, não é aleatória.
        for dim in ['ano', 'canal', 'segmento']:
            if dim in df.columns:
                taxa = df.groupby(dim)[col].apply(lambda s: s.isna().mean() * 100)
                if taxa.max() - taxa.min() > 20:
                    print(f"  ⚠ concentrado em {dim}:")
                    print(taxa.round(1).to_string())

diagnostico_nulos(df_pedidos)

3. Deduplicar sem decidir é perder dado

drop_duplicates() mantém a primeira ocorrência. Isso é uma decisão — quase sempre tomada por acidente. Se as linhas diferem em alguma coluna (data de atualização, status, valor), você acabou de escolher a versão mais antiga do registro sem perceber.

A pergunta correta é a mesma da aula do caso: qual das N linhas eu quero? A mais recente? A de maior valor? A do status final? Responder isso é análise; drop_duplicates() é sorteio.

Preciso preparar estes dados para: [a análise específica]

Estrutura: [colunas e tipos]
Diagnóstico que já rodei:
- Nulos: [coluna: n (%) e se está concentrado em algum grupo]
- Extremos: [o que existe acima do p99, e o que são]
- Duplicatas: [quantas, e em que colunas diferem]

Para CADA tratamento que você propuser, responda antes de aplicar:
1) Quantas linhas isso remove ou altera, e que fração da métrica elas representam
2) Que informação real pode estar sendo apagada
3) Como a análise mudaria se eu NÃO fizesse esse tratamento
4) Existe alternativa que preserva o dado (categoria "não informado",
   estatística robusta, análise em separado)?

Não proponha remover outlier por desvio-padrão sem antes eu te dizer
o que aqueles valores são.