Em um TCC qualitativo de Educação, é comum a banca perguntar: “como você sabe que as suas categorias não dependem só do seu olhar?”. A pergunta toca em um ponto sensível da análise de conteúdo: quem codifica as respostas, as entrevistas ou os documentos é uma pessoa, e outra pessoa, com o mesmo livro de códigos, poderia classificar de forma diferente. A forma mais usada para mostrar que a codificação é consistente é a concordância entre avaliadores (ou entre codificadores), medida pelo percentual de concordância e pelo coeficiente Kappa de Cohen. Este guia explica quando fazer, como organizar o procedimento, como calcular (com um exemplo numérico completo, fictício), como interpretar e como relatar na metodologia, sem exagerar nem esconder as limitações.
Quando a concordância entre avaliadores faz sentido
Nem todo trabalho qualitativo precisa dela. Em estudos interpretativos, em que o pesquisador assume a sua posição e a subjetividade é parte do método, o rigor vem de outros recursos, como a descrição detalhada do processo, a triangulação e a devolutiva aos participantes. A concordância entre avaliadores faz mais sentido quando:
- a análise de conteúdo classifica trechos em categorias definidas previamente ou construídas a partir do material, e você quer mostrar que o sistema de categorias é reproduzível;
- o trabalho transforma categorias em frequências (por exemplo, quantas respostas caem em cada categoria), e a banca espera uma medida de confiabilidade;
- o orientador ou o regulamento do curso pedem dois codificadores.
Pergunte ao orientador se essa etapa é esperada no seu trabalho. Para entender a análise de conteúdo em si, veja o guia análise de conteúdo de Bardin passo a passo, e, para a escolha de softwares de apoio, IRaMuTeQ, NVivo, Atlas.ti e MAXQDA.
Passo a passo do procedimento
- Construa o livro de códigos. Para cada categoria, escreva o nome, uma definição, critérios de inclusão e exclusão e um ou dois exemplos de trechos. Quanto mais claro o livro, maior a chance de concordância.
- Defina a unidade de análise. A palavra, a frase, o parágrafo ou a resposta inteira? Se cada codificador recorta o texto de um jeito, a concordância cai por um motivo que não tem relação com as categorias. Campbell e colaboradores discutem os problemas de unitização e de confiabilidade entre codificadores em entrevistas semiestruturadas no artigo “Coding In-depth Semistructured Interviews”, publicado na Sociological Methods & Research, volume 42, número 3, páginas 294 a 320, em 2013.
- Escolha o segundo codificador. Pode ser o orientador, um colega ou outro pesquisador que conheça o tema, sempre alguém que não participou da construção das categorias ou que as conheça apenas pelo livro de códigos.
- Treine com uma pequena parte do material. Os dois codificam um trecho, comparam, discutem as dúvidas e ajustam o livro de códigos. Esse material de treino não entra no cálculo final.
- Codifique de forma independente. Os dois classificam, sem conversar, uma parte do material, definida com o orientador, ou todo ele.
- Monte a tabela de classificações. Cada linha é um trecho; as colunas trazem a categoria atribuída por cada codificador.
- Calcule a concordância. Primeiro o percentual simples e depois o Kappa de Cohen.
- Resolva as divergências por consenso. Discuta cada trecho em que os dois discordaram, registre a decisão e, se necessário, ajuste o livro de códigos.
- Relate o processo e o resultado na metodologia, com a medida de concordância e a forma como as divergências foram resolvidas.
Percentual de concordância e Kappa de Cohen
O percentual de concordância é a proporção de trechos em que os dois codificadores atribuíram a mesma categoria. É simples e fácil de explicar, mas tem um problema: parte dessa concordância acontece por acaso, principalmente quando poucas categorias concentram a maior parte dos trechos.
O Kappa de Cohen corrige esse efeito: compara a concordância observada com a concordância esperada por acaso. A proposta original é de Jacob Cohen, no artigo “A Coefficient of Agreement for Nominal Scales”, publicado na revista Educational and Psychological Measurement, volume 20, número 1, páginas 37 a 46, em 1960. A fórmula é: Kappa = (Po − Pe) / (1 − Pe), em que Po é a concordância observada e Pe é a concordância esperada por acaso.
Exemplo numérico completo (fictício)
Suponha que dois codificadores classificaram, de forma independente, 100 respostas de professores a uma pergunta aberta sobre dificuldades no uso de tecnologia em sala, em três categorias: A (infraestrutura), B (formação) e C (tempo). Os números abaixo são inventados para ilustrar o cálculo.
| Codificador 1 Codificador 2 | A | B | C | Total |
|---|---|---|---|---|
| A | 30 | 3 | 2 | 35 |
| B | 4 | 28 | 3 | 35 |
| C | 1 | 4 | 25 | 30 |
| Total | 35 | 35 | 30 | 100 |
- Concordância observada (Po): a soma da diagonal é 30 + 28 + 25 = 83; dividida por 100, Po = 0,83 (83%).
- Concordância esperada por acaso (Pe): para cada categoria, multiplique o total da linha pelo total da coluna e divida por 100 ao quadrado, depois some. (35 × 35 + 35 × 35 + 30 × 30) / 10.000 = (1.225 + 1.225 + 900) / 10.000 = 0,335.
- Kappa: (0,83 − 0,335) / (1 − 0,335) = 0,495 / 0,665, que dá aproximadamente 0,74.
Repare que a concordância observada foi de 83%, mas o Kappa, que desconta o acaso, foi de cerca de 0,74. Os números são fictícios; no seu trabalho, use os seus dados e confira o cálculo em planilha ou em um programa estatístico. Se você quiser fazer o cálculo em software, o guia Jamovi passo a passo apresenta uma ferramenta gratuita de análise estatística.
Exemplo de livro de códigos (ilustrativo)
Um livro de códigos claro é a melhor garantia de concordância. O trecho abaixo, fictício, mostra a estrutura para a pergunta sobre dificuldades no uso de tecnologia em sala de aula.
| Categoria | Definição | Inclui | Não inclui | Exemplo de trecho |
|---|---|---|---|---|
| A. Infraestrutura | Falta ou falha de equipamentos e de conexão | Internet instável, computadores quebrados, falta de projetor | Falta de preparo para usar os equipamentos | “A internet da escola cai toda hora.” |
| B. Formação | Falta de preparo ou de apoio para usar a tecnologia no ensino | Pouco treinamento, insegurança com ferramentas | Falta de equipamentos | “Nunca tive formação para usar essas plataformas.” |
| C. Tempo | Carga de trabalho e tempo insuficiente para planejar com tecnologia | Excesso de turmas, pouco tempo de planejamento | Falta de formação | “Não sobra tempo para preparar aulas diferentes.” |
As frases acima são exemplos inventados. Note que cada categoria tem uma coluna “não inclui”: é ela que reduz as dúvidas na fronteira entre categorias vizinhas, que são a principal fonte de discordância. Quando um trecho puder pertencer a duas categorias, defina uma regra (por exemplo, classificar pela ideia principal) e registre-a no livro.
Checklist antes de calcular
- O livro de códigos tem definição, critérios de inclusão e exclusão e exemplos para cada categoria?
- A unidade de análise está definida e foi aplicada do mesmo jeito pelos dois codificadores?
- Houve treino com um trecho que não entra no cálculo?
- A codificação foi independente, sem consulta entre os codificadores?
- A tabela de classificações está completa, sem trechos faltantes?
- Você definiu, antes de calcular, a referência de interpretação que vai usar?
Como interpretar o Kappa
Cohen sugeriu faixas de interpretação, reproduzidas no artigo de Mary McHugh, “Interrater reliability: the kappa statistic”, publicado na Biochemia Medica, em 2012 (páginas 276 a 282): valores até 0 indicam ausência de concordância; de 0,01 a 0,20, nenhuma a leve; de 0,21 a 0,40, razoável; de 0,41 a 0,60, moderada; de 0,61 a 0,80, substancial; e de 0,81 a 1,00, concordância quase perfeita. A própria McHugh critica essa escala por permitir que concordâncias baixas sejam chamadas de “substanciais” e propõe, para a pesquisa em saúde, critérios mais rigorosos: qualquer Kappa abaixo de 0,60 indicaria concordância inadequada. Na tabela da autora, valores de 0,60 a 0,79 correspondem a concordância moderada, e de 0,80 a 0,90, a concordância forte.
O que fazer com isso no TCC? Declare qual referência de interpretação você adotou e justifique. No exemplo acima, o Kappa de 0,74 seria “substancial” na escala de Cohen e “moderado” na tabela de McHugh. A descrição honesta é: “houve concordância moderada a substancial, e as divergências foram resolvidas por consenso”.
O que fazer se o Kappa der baixo
Um Kappa baixo não é o fim do trabalho: é um sinal de que o sistema de categorias ou o treino precisam de ajuste. O caminho é identificar onde estão as divergências (a tabela de classificações mostra quais pares de categorias são mais confundidos), revisar as definições dessas categorias, acrescentar critérios de exclusão e exemplos, treinar novamente com outro trecho e repetir a codificação independente. Relate essa iteração na metodologia: mostrar que o livro de códigos foi refinado por rodadas de teste é um ponto a favor, e não uma fraqueza. Evite apenas escolher, depois do cálculo, a amostra ou o critério que produz o melhor resultado, porque isso compromete a credibilidade do procedimento.
Limitações que você deve reconhecer
- Dependência da distribuição das categorias. Se quase todos os trechos caem em uma categoria, o Kappa pode ficar baixo mesmo com muita concordância. McHugh também discute que as suposições do coeficiente sobre o acaso são discutíveis.
- Só mede consistência. Dois codificadores podem concordar e estar errados. A concordância não prova que as categorias são as melhores possíveis.
- Depende da unidade de análise. Se os codificadores recortaram os trechos de forma diferente, o cálculo precisa de um critério para alinhar as unidades.
- Não substitui a validade. A confiabilidade da codificação é um aspecto do rigor; a validade das categorias depende do referencial. Veja validade e confiabilidade da pesquisa.
Como relatar na metodologia
Um parágrafo bem construído informa: quem foram os codificadores e qual a formação deles; quantos trechos ou respostas foram codificados de forma independente e como foram escolhidos; como o livro de códigos foi construído e treinado; o percentual de concordância e o Kappa; a referência de interpretação adotada; e como as divergências foram resolvidas. Exemplo de texto ilustrativo: “Dois codificadores classificaram, de forma independente, 100 respostas, com base no livro de códigos. A concordância observada foi de 83% e o coeficiente Kappa de Cohen foi de 0,74; as divergências foram resolvidas por consenso entre os codificadores e o orientador.” Em seguida, apresente os resultados da análise de categorias como mostra o guia resultados de um TCC qualitativo de Educação.
Alternativas quando não há segundo codificador
- Triangulação: combinar fontes, métodos ou pesquisadores para sustentar as categorias.
- Validação pelos participantes: devolver a síntese aos participantes para que confirmem se ela representa o que disseram.
- Auditoria do processo: o orientador revisa o livro de códigos e uma amostra das classificações, e você registra a revisão.
- Descrição detalhada: explicitar cada decisão de análise para que o leitor acompanhe o raciocínio.
- Saturação: discutir como foi decidido o número de entrevistas, como mostra o guia sobre saturação teórica.
Erros que a banca costuma apontar
- Relatar só o percentual simples. Sem correção do acaso, o resultado parece melhor do que é.
- Segundo codificador sem treino. Sem livro de códigos claro, a concordância é baixa e difícil de explicar.
- Calcular o Kappa com o material de treino. O treino deve ficar fora do cálculo.
- Chamar de “validado” o sistema de categorias. A concordância mostra consistência, não validade.
- Não explicar como as divergências foram resolvidas. A resolução por consenso é parte do método.
Perguntas frequentes
Preciso calcular o Kappa em um TCC qualitativo?
Nem sempre. Depende da abordagem e da orientação do curso. É mais esperado quando a análise classifica o material em categorias e converte a classificação em frequências.
Qual a diferença entre percentual de concordância e Kappa?
O percentual simples é a proporção de classificações iguais. O Kappa desconta a concordância esperada por acaso, e por isso tende a ser menor.
Qual valor de Kappa é aceitável?
Depende da referência adotada. Na escala sugerida por Cohen, de 0,61 a 0,80 é substancial; McHugh propõe critérios mais rigorosos para a pesquisa em saúde, com concordância inadequada abaixo de 0,60. Declare a referência que você usa.
Quantos trechos preciso codificar em dupla?
Não há um número único. Combine com o orientador uma parte do material suficiente e representativa, e descreva como foi escolhida.
Posso ser o único codificador?
Pode, em trabalhos interpretativos, desde que explique o processo e use outros recursos de rigor, como triangulação, validação pelos participantes e auditoria do orientador.
O Kappa serve para entrevistas?
Serve quando as falas são classificadas em categorias pelos dois codificadores. Em entrevistas, o recorte das unidades de análise é um problema específico que precisa ser resolvido antes.