Qual métrica usar na avaliação do TCC de Sistemas de Informação depende do tipo de artefato construído — um sistema de recomendação, um app de gestão ou um classificador de dados exigem lógicas de avaliação diferentes, e escolher a métrica errada é um dos motivos mais comuns de a banca questionar a validade dos resultados no capítulo de avaliação.
Três tipos de artefato, três lógicas de avaliação
As ferramentas para o TCC de Sistemas de Informação já cobrem controle de versão, modelagem UML e ambiente de testes. Aqui o recorte é a etapa seguinte: como avaliar o artefato depois de construído. A maioria dos TCCs de SI se encaixa em um de três perfis, e cada um pede uma família diferente de métrica:
- Sistema funcional (app, portal, ferramenta de gestão): avaliado por usabilidade e desempenho técnico — o usuário consegue usar, e o sistema responde rápido o suficiente.
- Modelo de classificação ou predição (aprendizado de máquina): avaliado por métricas de classificação que medem acerto e erro em relação a um gabarito conhecido.
- Sistema de recuperação de informação (busca, recomendação): avaliado por métricas de relevância — o quanto os resultados retornados correspondem ao que o usuário realmente procurava.
Declarar em qual desses três perfis o artefato se encaixa, logo no início do capítulo de avaliação, orienta a banca sobre qual conjunto de métricas esperar nas páginas seguintes.
Métricas de usabilidade para sistemas funcionais
Quando o artefato é um sistema de uso direto por pessoas, a avaliação de usabilidade é o núcleo do capítulo de resultados. As métricas mais usadas em TCC de SI são:
- System Usability Scale (SUS): questionário padronizado de 10 itens que produz uma pontuação de 0 a 100, com valor de referência amplamente citado na literatura em torno de 68 como média — acima disso, usabilidade considerada acima da média.
- Tempo de tarefa: quanto tempo um usuário leva para completar uma tarefa definida no sistema, comparado a um sistema de referência ou a um valor-alvo estabelecido a priori.
- Taxa de erro: proporção de tentativas em que o usuário não completa a tarefa ou completa incorretamente, revelando pontos de fricção na interface.
Métricas de desempenho técnico
Independentemente de o artefato ser avaliado por usabilidade, um sistema funcional também costuma reportar métricas técnicas que atestam que ele funciona sob carga real, não só em teste isolado:
- Tempo de resposta: quanto tempo o sistema leva para retornar um resultado após uma requisição, geralmente reportado como média e percentil (p95, p99) para capturar também os casos mais lentos.
- Throughput: quantas requisições o sistema processa por unidade de tempo sob carga simulada.
- Uso de recursos: consumo de memória e processamento sob a carga testada, relevante quando o TCC discute viabilidade de implantação.

Métricas de classificação: quando o artefato é um modelo
Para TCCs que constroem um modelo de classificação ou predição, a métrica certa depende da pergunta que o modelo responde, não de qual é mais popular na literatura:
- Acurácia mede a proporção total de acertos — adequada quando as classes estão balanceadas, mas enganosa quando uma classe é muito mais rara que a outra.
- Precisão mede, entre os casos que o modelo classificou como positivos, quantos realmente eram — relevante quando o custo de um falso positivo é alto.
- Recall (sensibilidade) mede, entre os casos que realmente eram positivos, quantos o modelo identificou — relevante quando o custo de um falso negativo é alto (por exemplo, deixar de detectar uma fraude).
- F1-score combina precisão e recall em um único número, útil quando não há um critério claro para priorizar um sobre o outro.
Um erro recorrente é reportar só a acurácia em um problema com classes desbalanceadas — um modelo que sempre prevê a classe majoritária pode ter acurácia alta e ser completamente inútil, o que precisão, recall e F1 revelam e a acurácia sozinha esconde.
Métricas de recuperação de informação e recomendação
Quando o artefato é um sistema de busca ou de recomendação, a pergunta não é apenas se ele acerta ou erra, mas se os primeiros resultados retornados são os mais relevantes — porque na prática, poucos usuários rolam além dos primeiros itens de uma lista. As métricas típicas dessa família:
- Precisão@k mede a proporção de itens relevantes entre os k primeiros resultados retornados (por exemplo, precisão@5 considera apenas os cinco primeiros).
- Revocação@k (recall@k) mede quantos dos itens relevantes existentes no total foram capturados dentro dos k primeiros resultados.
- Relevância percebida, coletada por avaliação humana (usuários ou avaliadores treinados classificando cada resultado como relevante ou não), complementa as métricas automáticas quando não existe um gabarito objetivo pronto.
Um TCC que avalia um sistema de recomendação sem definir o valor de k (quantos primeiros resultados contam para a métrica) deixa a avaliação incompleta — o mesmo sistema pode parecer ótimo em precisão@3 e mediano em precisão@10, e a banca espera ver essa escolha justificada, não implícita.
Validação cruzada e o cuidado com o conjunto de teste
Para modelos de classificação, a métrica calculada só é confiável se medida em dados que o modelo não usou para aprender. Um erro grave e recorrente em TCC de SI é reportar a métrica de acerto calculada sobre o mesmo conjunto de dados usado para treinar o modelo — o que produz um número artificialmente alto e não representa como o modelo se comportaria com dados novos. A prática correta é separar uma parte dos dados exclusivamente para teste antes de qualquer treinamento (ou usar validação cruzada, dividindo os dados em partes e alternando qual parte serve de teste), e reportar a métrica apenas sobre esse conjunto nunca visto pelo modelo durante o treinamento.
Comparativo lado a lado
| Tipo de artefato | Métrica principal | Quando usar |
|---|---|---|
| Sistema funcional (uso direto) | SUS, tempo de tarefa, taxa de erro | Interface avaliada por usuários reais ou representativos |
| Sistema funcional (backend/API) | Tempo de resposta, throughput | Desempenho sob carga simulada |
| Classificação com classes balanceadas | Acurácia | Proporção similar de casos em cada classe |
| Classificação com classes desbalanceadas | Precisão, recall, F1 | Uma classe é rara ou o custo do erro é assimétrico |
| Recuperação de informação/recomendação | Precisão@k, relevância percebida | Avaliar se os primeiros resultados retornados são relevantes |
Um parágrafo de método que declara métrica e critério de aceite
Veja como um trecho de metodologia que declara a métrica escolhida e o critério de aceite costuma ficar redigido — o conteúdo é ilustrativo, para adaptar ao seu artefato:
“A avaliação do artefato foi conduzida por meio do System Usability Scale (SUS), aplicado a 15 usuários após a execução de três tarefas representativas no sistema. Adotou-se como critério de aceite uma pontuação média igual ou superior a 68, valor de referência amplamente citado na literatura como limiar de usabilidade acima da média. Complementarmente, o tempo de resposta das operações críticas foi medido sob carga simulada de 50 requisições simultâneas, com percentil 95 registrado para cada operação.”
Note que o parágrafo declara a métrica, o tamanho da amostra de avaliação, o critério de aceite definido a priori e a condição de teste — os quatro elementos que uma banca de Sistemas de Informação confere no capítulo de avaliação.

Um checklist antes de fechar o capítulo de avaliação
Antes de considerar o capítulo de avaliação pronto, confira:
- O tipo de artefato (sistema funcional, modelo de classificação, sistema de recuperação de informação) está declarado explicitamente, com a família de métrica correspondente.
- O critério de aceite (o valor que conta como “bom o suficiente”) foi definido antes da coleta dos resultados, não ajustado depois de ver o número obtido.
- Para modelos de classificação, a métrica foi calculada sobre um conjunto de dados que o modelo não usou para treinar.
- Para sistemas com usuários, o número de participantes do teste de usabilidade e o perfil deles estão declarados.
- Métricas técnicas (tempo de resposta, throughput) foram reportadas com percentil, não apenas com a média.
Quando combinar métricas de mais de uma família
Nem todo artefato se encaixa perfeitamente em um único perfil — um sistema de recomendação, por exemplo, costuma exigir tanto uma métrica de relevância (precisão@k) quanto uma métrica de usabilidade (o quão fácil é para o usuário interagir com as recomendações apresentadas). Nesses casos híbridos, o capítulo de avaliação fica mais forte quando declara explicitamente por que mais de uma métrica foi necessária, em vez de escolher apenas uma e deixar a avaliação incompleta em relação ao que o artefato realmente faz.
Vale registrar também que a escolha da métrica não substitui a interpretação qualitativa dos resultados — um F1-score de 0,85 sozinho não conta a história completa se o TCC não discute em que tipo de caso o modelo erra e por quê, uma análise que costuma valer mais na arguição do que o número isolado.
Erros comuns na escolha de métrica
| Erro | Por que compromete |
|---|---|
| Reportar só acurácia em problema com classes desbalanceadas | Esconde um modelo que apenas prevê a classe majoritária, mascarando o desempenho real |
| Definir o critério de aceite depois de ver o resultado | Compromete a validade do teste — o critério precisa ser definido antes da avaliação, não ajustado ao resultado obtido |
| Testar usabilidade só com o próprio desenvolvedor | O desenvolvedor já conhece o sistema e não reproduz a experiência de um usuário real |
| Reportar tempo de resposta só como média, sem percentil | Esconde casos lentos que a média dilui, mas que afetam a experiência real de parte dos usuários |
Perguntas frequentes
É obrigatório usar o SUS para medir usabilidade?
Não é obrigatório, mas é o instrumento mais citado e comparável na literatura — usar outro instrumento validado é aceitável, desde que a escolha seja justificada e o instrumento tenha referência bibliográfica que sustente sua validade.
Quantos usuários são necessários para um teste de usabilidade em TCC?
A literatura de usabilidade costuma indicar que um número pequeno de participantes (na faixa de 5 a 15) já identifica a maioria dos problemas de usabilidade relevantes — o número exato aceito pela banca depende do orientador e do tempo disponível para a coleta.
Posso combinar métricas de usabilidade e de desempenho técnico no mesmo TCC?
Sim, e costuma fortalecer a avaliação — declarar ambas mostra que o artefato foi avaliado tanto do ponto de vista de quem usa quanto do ponto de vista de quem opera o sistema.
Preciso reportar todas as métricas de classificação (acurácia, precisão, recall, F1) ao mesmo tempo?
Não é obrigatório reportar as quatro, mas reportar mais de uma quando as classes são desbalanceadas fortalece a avaliação — acurácia isolada, nesse cenário, pode mascarar um modelo fraco, então complementar com pelo menos precisão e recall é a prática mais defensável diante da banca.
Declarar o tipo de artefato, a métrica correspondente e o critério de aceite definido antes da coleta é o que torna o capítulo de avaliação de um TCC de Sistemas de Informação defensável diante da banca. Se a formatação ABNT ou a redação do restante do TCC ainda estão travadas, o Tesify organiza o TCC de Sistemas de Informação do capítulo de avaliação à entrega final.
