O que é o Paradoxo de Simpson?
O Paradoxo de Simpson acontece quando uma tendência clara aparece em diferentes grupos de dados, mas desaparece — ou se inverte completamente — quando esses grupos são combinados (agregados). Ou seja, os dados podem "enganar" você, mesmo que a matemática esteja absolutamente correta.
O caso real: o viés de Berkeley (1973)
O exemplo mais famoso da história aconteceu na Universidade de Berkeley, na Califórnia. A instituição foi quase processada por discriminação de gênero na admissão da pós-graduação. Os dados gerais eram alarmantes:
- Homens inscritos: 44% de aprovação
- Mulheres inscritas: 35% de aprovação
Parecia um caso óbvio de preconceito. No entanto, quando os estatísticos analisaram os departamentos individualmente, descobriram algo inacreditável: a maioria dos departamentos tinha uma taxa de aceitação ligeiramente maior para mulheres.
O que explica isso?
As mulheres tendiam a se candidatar em massa para departamentos altamente concorridos (como Humanas), onde a taxa de aceitação geral era baixa para todo mundo. Os homens se candidatavam mais para departamentos com mais vagas (como Engenharia e Química), onde era mais fácil entrar.
Ao juntar tudo, a preferência pelos cursos difíceis mascarou o cenário real. O problema não era o viés dos avaliadores, mas uma variável oculta: a distribuição das escolhas de cursos.
Como os números enganam: um exemplo simples
Para ficar fácil de entender na prática, imagine o teste de um novo remédio dividido entre 100 homens e 100 mulheres. Analisando cada grupo separadamente, o placebo vence nos dois:
| Grupo | Remédio | Placebo |
|---|---|---|
| Homens | 80 de 100 — 80% | 9 de 10 — 90% |
| Mulheres | 1 de 10 — 10% | 30 de 100 — 30% |
| Total (agregado) | 81 de 110 — 73,6% | 39 de 110 — 35,4% |
O paradoxo: o placebo foi melhor para os homens e melhor para as mulheres. Mas, se você olhar apenas para o total, o remédio parece ser duas vezes melhor! Isso acontece porque o tamanho das amostras dentro de cada grupo é desproporcional — os grupos não têm o mesmo peso.
Como não ser enganado pelo Paradoxo de Simpson
No mundo do Big Data, cientistas de dados enfrentam esse perigo diariamente em testes A/B, análises de conversão e métricas de negócios. Para evitar cair nessa armadilha, siga três regras de ouro:
- Nunca confie apenas na média geral: sempre que houver subgrupos naturais na sua base (idade, gênero, localização, comportamento), quebre os dados para ver se a tendência se mantém.
- Procure por variáveis ocultas (confundidoras): pergunte-se sempre: "Existe algum fator externo que está influenciando quem cai em qual grupo?"
- Entenda o contexto antes do cálculo: a matemática pura não entende o comportamento humano. O contexto do problema dita qual visão — a isolada ou a agregada — faz mais sentido para a tomada de decisão.