A ANOVA acusou diferença significativa entre os seus três grupos e parou aí. Ela é um teste omnibus: informa que pelo menos um grupo difere dos demais, mas não diz qual. Quem responde a isso é o teste post hoc — e a escolha entre Tukey, Bonferroni, Games-Howell, Dunnett e Dunn depende de uma pergunta objetiva que a maioria dos TCCs nunca chega a fazer: as variâncias dos grupos são homogêneas?
Por que a ANOVA não basta
Suponha que você comparou a satisfação de funcionários em três turnos e obteve F(2, 87) = 6,41; p = 0,003. Você sabe que os turnos não são todos iguais. Não sabe se o problema está no turno da noite, no da manhã, ou em ambos.
Com três grupos existem três pares possíveis (A-B, A-C, B-C). Com quatro grupos, seis pares. Com cinco, dez. O post hoc percorre esses pares e devolve um p-valor para cada um — mas fazendo isso de um jeito que não estraga a sua taxa de erro, que é exatamente o que aconteceria se você simplesmente rodasse vários testes t.
A escolha da ANOVA em si, e das alternativas quando os pressupostos falham, está no guia de decisão sobre qual teste estatístico usar. Este artigo começa onde aquele termina: a ANOVA já deu significativa.
O problema que o post hoc resolve
Quando você adota α = 0,05, aceita 5% de chance de encontrar uma diferença que não existe — em uma comparação. Faça três comparações independentes ao mesmo nível e a chance de pelo menos um falso positivo sobe para cerca de 14%. Com seis comparações, aproxima-se de 26%.
Esse é o erro tipo I familiar (ou taxa de erro por família de comparações). É o motivo pelo qual “rodar três testes t” não é uma alternativa preguiçosa à ANOVA: é uma alternativa errada, que multiplica a chance de o seu TCC afirmar uma diferença inexistente.
Todo teste post hoc é, no fundo, um mecanismo para manter essa taxa em 5% para o conjunto das comparações. Eles diferem em como fazem isso — e, portanto, em quanta potência sacrificam no processo.
Comparativo dos cinco testes
| Teste | Use quando | Pressupõe variâncias iguais? | Perfil |
|---|---|---|---|
| Tukey HSD | Você quer todas as comparações par a par e as variâncias são homogêneas | Sim | O padrão. Bom equilíbrio entre controle de erro e potência |
| Games-Howell | As variâncias não são homogêneas, ou os grupos têm tamanhos bem diferentes | Não | A correção que quase ninguém usa e muitos deveriam |
| Bonferroni | Você tem poucas comparações, definidas antes de ver os dados | Sim | Simples e transparente; fica conservador demais com muitos pares |
| Dunnett | Você compara vários grupos contra um controle, e não entre si | Sim | Mais potente que Tukey nesse desenho, porque faz menos comparações |
| Dunn | O teste anterior foi Kruskal-Wallis, não ANOVA | Não se aplica | A opção não paramétrica correspondente |
Vale nomear as origens, porque referenciá-las na metodologia dá lastro ao capítulo. O procedimento de Tukey foi apresentado em Comparing Individual Means in the Analysis of Variance (Biometrics, v. 5, n. 2, 1949). O de Dunnett, em A Multiple Comparison Procedure for Comparing Several Treatments with a Control (Journal of the American Statistical Association, v. 50, n. 272, p. 1096-1121, 1955). E o Games-Howell nasceu de um estudo de simulação explicitamente dedicado ao caso difícil: Pairwise Multiple Comparison Procedures with Unequal N’s and/or Variances: A Monte Carlo Study (Journal of Educational Statistics, v. 1, n. 2, p. 113-125, 1976).
Há ainda a correção de Holm, uma versão sequencial do Bonferroni que ordena os p-valores e aplica um limite progressivamente menos rígido. Ela controla a mesma taxa de erro com mais potência que o Bonferroni clássico, e vários softwares já a oferecem — quando disponível, é preferível ao Bonferroni puro.
Como escolher em três perguntas
1. O teste de Levene deu significativo?
O teste de Levene verifica a homogeneidade de variâncias. Se ele não for significativo (p > 0,05), as variâncias são compatíveis e o Tukey está liberado. Se for significativo, o pressuposto do Tukey caiu e a escolha correta é o Games-Howell.
Este é o ponto que mais separa um capítulo bem conduzido de um improvisado. O software oferece Tukey por padrão, o aluno aceita o padrão, e o resultado é um post hoc aplicado fora das suas condições de validade — sem que nada na saída avise. Rodar Levene antes custa um clique.
2. Você compara todos contra todos, ou todos contra um controle?
Se existe um grupo de referência claro — o grupo sem intervenção, a unidade padrão, o período pré-mudança — e as comparações que interessam são apenas contra ele, o Dunnett é mais potente, porque faz três comparações em vez de seis e gasta menos correção.
3. Quantas comparações você realmente precisa?
Se você definiu de antemão que só interessam duas comparações específicas, o Bonferroni sobre essas duas é simples, transparente e fácil de defender. Se são todas, o Tukey é mais potente. A regra prática: Bonferroni para poucas comparações planejadas; Tukey para o conjunto completo.
E se a ANOVA foi substituída pelo Kruskal-Wallis porque os dados não atendiam aos pressupostos — situação comum com amostras pequenas e com escalas ordinais, discutida em escala Likert no TCC —, então o post hoc correspondente é o Dunn, e não o Tukey.
Os cinco procedimentos estão disponíveis nos programas usuais, embora nem todos apareçam no mesmo menu; o Games-Howell, em particular, costuma estar numa aba separada da dos post hoc “clássicos”. A comparação entre os programas está em SPSS, R, Jamovi ou Excel para analisar dados do TCC.
Como relatar no TCC
O relato tem três camadas, e omitir a primeira é o erro mais comum:
1. O resultado da ANOVA, com F, graus de liberdade, p e uma medida de tamanho de efeito (eta quadrado parcial é a usual).
2. O post hoc escolhido e por quê. Uma frase: “Como o teste de Levene indicou heterogeneidade de variâncias (p = 0,012), adotou-se o procedimento de Games-Howell para as comparações par a par.” Essa justificativa é o que transforma uma escolha em uma decisão metodológica.
3. Quais pares diferem, com a diferença de médias e o intervalo de confiança:
“A ANOVA indicou diferença significativa na satisfação entre os turnos (F(2, 87) = 6,41; p = 0,003; η²p = 0,13). O procedimento de Games-Howell revelou que o turno da noite (M = 3,12; DP = 0,81) diferiu significativamente do turno da manhã (M = 3,89; DP = 0,62), com diferença média de 0,77 ponto (IC 95% [0,28; 1,26]; p = 0,001). Não houve diferença significativa entre manhã e tarde (p = 0,214).”
Repare que os pares não significativos também são relatados. Omitir os que não deram diferença e apresentar só os que deram é seleção de resultados, e a banca costuma perguntar exatamente pelos ausentes.
Se o desenho envolve não só comparar grupos mas estimar quanto cada fator explica do desfecho, a análise complementar é a regressão linear e seus pressupostos. A redação do capítulo em que tudo isso desemboca está em análise e discussão dos resultados, e a formatação das tabelas segue as regras de tabelas e quadros da ABNT.
Erros que invalidam a comparação
- Rodar vários testes t em vez de ANOVA com post hoc, sem qualquer correção.
- Aceitar o Tukey por padrão sem ter checado o teste de Levene.
- Rodar post hoc com a ANOVA não significativa, procurando algum par com p abaixo de 0,05.
- Usar Tukey depois de Kruskal-Wallis — são procedimentos de famílias diferentes.
- Relatar só os pares significativos e omitir os demais.
- Não informar qual post hoc foi usado, o que impede qualquer leitor de avaliar a análise.
- Ignorar o tamanho de efeito, tratando o p-valor como medida de magnitude.
O tamanho da amostra por grupo condiciona tudo isso: com dez pessoas em cada turno, nenhum post hoc terá potência para detectar diferenças moderadas. O dimensionamento está em população e amostra no TCC, e a leitura descritiva que antecede qualquer inferência, em análise de dados quantitativos.
Depois que os números estão fechados, sobra a parte que consome mais tempo: transformar a saída em texto que a banca aceite. O Tesify escreve o capítulo de resultados com você, a partir dos valores que o seu software já calculou e com as referências no padrão ABNT.
Perguntas frequentes
Por que preciso de um teste post hoc depois da ANOVA?
Porque a ANOVA é um teste omnibus: ela responde apenas se existe alguma diferença entre os grupos, não entre quais. Com três grupos há três pares possíveis, e é o teste post hoc que identifica quais deles diferem, controlando a inflação do erro tipo I que surge ao fazer várias comparações.
Qual é o teste post hoc mais usado?
O Tukey HSD é o padrão na maioria dos TCCs: ele faz todas as comparações par a par e é a escolha adequada quando as variâncias são homogêneas e os grupos têm tamanhos parecidos. É também o post hoc que os softwares oferecem por padrão.
Quando usar Games-Howell em vez de Tukey?
Quando o teste de Levene indicar que as variâncias não são homogêneas, ou quando os grupos tiverem tamanhos muito diferentes. O Tukey pressupõe variâncias iguais; o Games-Howell foi desenvolvido justamente para o caso de variâncias e enes desiguais.
Bonferroni ou Tukey: qual é melhor?
Depende de quantas comparações você faz. Para todas as comparações par a par, o Tukey é mais potente. O Bonferroni é preferível quando há poucas comparações planejadas de antemão, porque com muitas comparações ele fica excessivamente conservador e passa a esconder diferenças reais.
Posso rodar post hoc se a ANOVA não deu significativa?
Pela abordagem tradicional, não: o post hoc é condicionado a uma ANOVA significativa. Rodar post hoc depois de uma ANOVA não significativa, à procura de algum par que dê p menor que 0,05, é uma forma de p-hacking e a banca costuma identificar.
Qual post hoc usar depois do Kruskal-Wallis?
O teste de Dunn com ajuste para comparações múltiplas é a opção usual. O Tukey e o Games-Howell são para ANOVA paramétrica; depois de um Kruskal-Wallis, as comparações par a par precisam de um procedimento não paramétrico correspondente.