Se você construiu o próprio questionário, existe uma etapa entre terminar de escrever os itens e sair aplicando: submetê-los a um comitê de juízes e quantificar a concordância entre eles pelo Índice de Validade de Conteúdo. É o procedimento que transforma “eu achei que essas perguntas medem o que quero medir” em evidência que a banca aceita.
O que é validade de conteúdo
Validade de conteúdo é a evidência de que os itens de um instrumento representam adequadamente o construto que ele se propõe a medir — que cobrem suas dimensões relevantes e não incluem coisas de fora. É diferente de confiabilidade, que trata da consistência das medidas, e das demais evidências de validade; o panorama geral está em validade e confiabilidade da pesquisa.
A referência brasileira mais citada sobre o procedimento é o artigo de Neusa Maria Costa Alexandre e Marina Zambon Orpinelli Coluci, “Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas”, publicado em Ciência & Saúde Coletiva em 2011 (v. 16, n. 7, p. 3061-3068). Vale começar por uma advertência que as próprias autoras registram: existem controvérsias na literatura sobre a terminologia e o conceito de validade de conteúdo. Isso não é um detalhe acadêmico — significa que, no seu TCC, você precisa dizer qual referência adotou, porque outra referência daria números e nomes ligeiramente diferentes.
Quando a etapa é obrigatória: sempre que você construiu o instrumento, e também quando adaptou ou traduziu um instrumento existente. Aplicar uma escala publicada exatamente como validada é outro caso — ali a evidência já existe e pertence ao estudo original, assunto tratado em usar a escala de outro autor no TCC.
Quantos juízes, e quem pode ser
Sobre o número, a literatura diverge — e Alexandre e Coluci registram a divergência em vez de escondê-la. Lynn recomenda um mínimo de cinco e um máximo de dez pessoas participando do processo. Outros autores sugerem de seis a vinte sujeitos, com no mínimo três indivíduos em cada grupo de profissionais selecionado. A decisão deve levar em conta as características do instrumento e a formação, a qualificação e a disponibilidade dos profissionais necessários.
Sobre quem pode ser juiz, os critérios destacados na literatura são quatro:
- ter experiência clínica na área;
- publicar e pesquisar sobre o tema;
- ser perito na estrutura conceitual envolvida;
- ter conhecimento metodológico sobre a construção de questionários e escalas.
Repare que os quatro critérios raramente coexistem na mesma pessoa — e é justamente por isso que o comitê é um comitê. Um clínico experiente pode não saber avaliar a formulação de um item; um metodologista pode não conhecer a prática do campo.
E há uma recomendação que quase todo TCC deixa passar: incluir pessoas leigas potencialmente relacionadas com a população do estudo. A justificativa é prática — a inclusão de leigos asseguraria a correção de frases e termos que não estão muito claros. Um item que os especialistas consideram perfeitamente compreensível pode ser opaco para quem vai responder, e só um leigo detecta isso.
Se o seu caso é adaptação cultural de um instrumento estrangeiro, a composição muda: sugere-se um comitê multidisciplinar, com pessoas bilíngues e especialistas na área do instrumento, informados sobre as medidas e conceitos envolvidos, podendo incluir profissionais da área, professor de línguas, especialista em metodologia e os tradutores envolvidos.
Como conduzir a avaliação
O processo se inicia com o convite aos membros do comitê, e os especialistas devem receber uma carta explicativa acompanhada do instrumento de avaliação. Na prática, o pacote que você envia a cada juiz precisa conter:
- Carta-convite explicando o objetivo do estudo, o construto que o instrumento pretende medir e o que se espera do juiz.
- Definição do construto e de suas dimensões. Sem isso, cada juiz avalia contra uma definição própria, e a concordância que você medir não significa nada.
- O instrumento item a item, com espaço para avaliação de cada um.
- A escala de julgamento, tipicamente ordinal com quatro pontos de relevância ou representatividade — a opção por quatro pontos, sem ponto neutro, força o juiz a se posicionar.
- Campo aberto por item, para sugestões de redação. É daqui que sai a melhor parte do retorno, e ela é qualitativa.
- Prazo. Comitês sem prazo não respondem.
A avaliação por juízes pode envolver procedimentos qualitativos e quantitativos, e vale insistir nisso: o IVC é a parte quantitativa, mas os comentários abertos costumam ser o que de fato melhora o instrumento. Não descarte um item só porque o índice ficou baixo — leia o motivo que os juízes deram.
Como se calcula o IVC
O cálculo é simples e tem dois níveis.
Por item. Divide-se o número de juízes que avaliaram o item como relevante (as duas categorias superiores da escala de quatro pontos) pelo número total de juízes. Com oito juízes, dos quais sete consideraram o item relevante, o índice do item é 0,875.
Para o instrumento inteiro. Aqui está a armadilha que dá nome a um artigo clássico de Polit e Beck — “The content validity index: are you sure you know what’s being reported?”, publicado em Research in Nursing & Health em 2006 (v. 29, n. 5, p. 489-497). O ponto que os autores levantam é que existe mais de uma forma de computar o índice do instrumento, e trabalhos as reportam de modo intercambiável, como se fossem a mesma coisa.
As duas mais comuns são a média dos índices de todos os itens e a proporção de itens que obtiveram concordância unânime entre os juízes. Elas quase nunca dão o mesmo número, e a segunda é sistematicamente mais exigente. Um instrumento pode ter média alta e, ao mesmo tempo, poucos itens com unanimidade.
A consequência para o seu TCC é direta e barata de cumprir: diga qual das duas você usou. Escrever “IVC = 0,92” sem especificar o método de cálculo é exatamente o problema que Polit e Beck descreveram — o leitor não sabe o que o número significa. Os mesmos autores retomaram a discussão em “Is the CVI an acceptable indicator of content validity? Appraisal and recommendations”, com Steven V. Owen, na mesma revista em 2007 (v. 30, n. 4, p. 459-467).
Qual valor é aceitável
Não existe um número universal, e o valor de corte depende de quantos juízes você tem. Alexandre e Coluci são explícitas:
“Com a participação de cinco ou menos sujeitos, todos devem concordar para ser representativo. No caso de seis ou mais, recomenda-se uma taxa não inferior a 0,78.”
E, para o instrumento como um todo: “alguns autores sugerem uma concordância mínima de 0,80”, havendo ainda recomendação de “0,90 ou mais”.
A lógica por trás da primeira regra merece ser entendida, porque ela é contraintuitiva: quanto menos juízes, mais rigoroso o critério. Com cinco avaliadores, uma concordância de quatro em cinco (0,80) pode ocorrer por acaso com facilidade — por isso se exige unanimidade. Com dez, 0,80 já representa um acordo substancialmente mais improvável de ser fortuito. Um comitê pequeno não é um atalho.
Vale registrar que o índice não é a única medida disponível: o coeficiente kappa também é recomendado para avaliar concordância entre avaliadores na área da saúde, com a vantagem de corrigir a concordância devida ao acaso.
E o que fazer com itens abaixo do corte? Três destinos legítimos, todos declaráveis: reescrever à luz dos comentários e submeter de novo, remover o item, ou mantê-lo com justificativa explícita. O que não é legítimo é manter em silêncio um item reprovado e reportar apenas a média final.
Como declarar na metodologia
Um modelo que cobre o que a banca vai perguntar:
O instrumento foi submetido à validação de conteúdo por comitê de [n] juízes, selecionados segundo os critérios de [experiência clínica / produção sobre o tema / domínio metodológico], acrescido de [n] representantes da população-alvo. Cada juiz recebeu carta explicativa, a definição do construto e de suas dimensões, e formulário de avaliação com escala ordinal de quatro pontos de relevância, além de campo aberto por item. Calculou-se o Índice de Validade de Conteúdo por item e para o instrumento, este último obtido por [média dos índices dos itens / proporção de itens com concordância unânime]. Adotou-se como valor mínimo aceitável [x], conforme [referência]. Foram reformulados [n] itens e excluídos [n], conforme detalhado no Apêndice [x].
Cinco elementos fazem esse parágrafo passar: número de juízes, critérios de seleção, procedimento de coleta do julgamento, método de cálculo explicitado e valor de corte com fonte. Nenhum deles é opcional, e o quarto é o que quase todo TCC esquece.
Depois da validação de conteúdo vem o teste com a população-alvo, que é outra etapa — o comitê avalia representatividade, o piloto avalia compreensão e operação. E se o seu instrumento é uma escala de concordância, a construção dos itens está em escala Likert no TCC; a montagem operacional do formulário, em questionário de pesquisa no Google Forms; e o vínculo entre construto e itens, em variáveis da pesquisa. Se o instrumento validado for de outro autor, o formato da referência está em como referenciar um instrumento ou escala validada na ABNT.
Escrever essa seção com todos os cinco elementos no lugar, e com as referências metodológicas formatadas corretamente, é trabalho de precisão. Escreva o capítulo de metodologia no Tesify — você descreve o procedimento real e as referências em ABNT saem prontas.
Perguntas frequentes
Quantos juízes preciso no comitê de validação de conteúdo?
A literatura diverge. Alexandre e Coluci (2011) registram que Lynn recomenda de cinco a dez participantes, enquanto outros autores sugerem de seis a vinte, com no mínimo três indivíduos por grupo profissional. A decisão considera as características do instrumento e a disponibilidade dos profissionais.
Qual o IVC mínimo aceitável?
Depende do número de juízes. Com cinco ou menos, todos devem concordar; com seis ou mais, recomenda-se taxa não inferior a 0,78. Para o instrumento como um todo há autores sugerindo mínimo de 0,80, e recomendações de 0,90 ou mais.
Quem pode ser juiz na validação de conteúdo?
Os critérios destacados são experiência clínica, produção de pesquisa sobre o tema, domínio da estrutura conceitual e conhecimento metodológico de construção de questionários. Recomenda-se incluir também pessoas leigas da população do estudo, para corrigir termos pouco claros.
Validação de conteúdo é a mesma coisa que teste piloto?
Não. A validação de conteúdo é feita por especialistas e avalia representatividade dos itens. O teste piloto é aplicado com a população-alvo e verifica compreensão, tempo e operação. São etapas complementares.
Preciso validar o instrumento se vou usar uma escala já publicada?
Se aplicar tal como validada, a evidência já existe e pertence ao estudo original. Se alterar itens, traduzir ou adaptar, a evidência anterior deixa de cobrir a sua versão e a validação passa a ser necessária.
Posso calcular o IVC no Excel?
Pode. O cálculo é uma razão simples entre número de juízes que consideraram o item relevante e total de juízes, e uma planilha resolve. O cuidado não está na ferramenta, e sim em declarar qual método de agregação foi usado para o índice do instrumento.