Metodologia

Uma síntese transparente de seis rankings publicados — o que medimos, o que não medimos e como ler nossos números.

O que o FWUR estima (e o que não estima)

FWUR Rank é uma síntese transparente de seis rankings universitários publicados. Medimos (1) onde esses rankings discordam, (2) onde convergem e (3) quão sensível é o consenso a quais rankings incluímos. Não medimos diretamente a qualidade educacional ou de pesquisa.

As três coisas que medimos

  1. Primário — Discordância

    Quão diferente as seis agências classificam uma instituição. É para isso que o FWUR existe; o número de consenso é o gancho, o sinal de discordância é a substância.

  2. Secundário — Consenso

    Um resumo robusto por média aparada de onde as agências convergem. Publicado como número principal, mas visualmente não maior que a visualização de discordância.

  3. Terciário — Sensibilidade ao método

    Quanto a resposta depende de quais agências incluímos — exposto via a visão de subconjunto personalizado (Modo C) e faixas de sensibilidade ao método.

Limitações honestas

O algoritmo v0.1 do FWUR e a conclusão do produto v1.0 foram fixados em 2026-05-08 apenas pela autoridade do líder de projeto, sem assinatura de consultor estatístico externo ou revisor especialista em domínio. A decisão foi informada por sete anos de pensamento acumulado do líder sobre agregação multi-agência, quinze revisões de pares por LLM em três rodadas e a linha base determinística v0.1 (62 testes unitários com provas teoremáticas).

A validação é via análise interna de sensibilidade ao método Saltelli–Sobol (Track C). As vias de validação externa (estudo A/B com usuários; painel comparativo pareado de especialistas com Bradley–Terry) estão documentadas como aspiracionais pendentes de orçamento futuro. O ramo de P&D de modelos bayesianos está adiado indefinidamente pelo mesmo motivo.

Esta é a restrição honesta. Não reivindicamos uma validação acadêmica externa que não temos.

Methodological honesty — what we deliberately do not do

Why we avoid frequentist uncertainty intervals

The six rankings are not a random sample drawn from a population — they are the population of major published university rankings. Standard frequentist uncertainty quantification (the kind that produces an interval with a coverage guarantee) requires a sampling model that does not exist here, so quoting one would be mathematically misleading. Instead we surface a qualitative disagreement bucket (high agreement / mixed signal / divergent signal) and a method-sensitivity band (planned for v0.2 once the Saltelli–Sobol pipeline runs over the 41 size-≥3 agency subsets). Our naming-discipline lint actively blocks the corresponding language in user-facing copy.

Why our trajectory chart is overlay, not small multiples

Edward Tufte's rule for time series with more than three lines is small multiples — one mini-chart per agency, faceted side by side. We use overlay (six lines on one chart) because the user task is direct comparison: did agency X agree with agency Y this year? Faceted small multiples answer that less directly than co-located lines. We acknowledge the trade-off: with six overlapping series the chart can look crowded, especially in the middle of the rank range. A small-multiples view is on the v0.2-x backlog as an option toggle, not a default.

Both limits have explicit reactivation triggers in CONSTRAINTS.md §5: when external statistical consultation becomes accessible, or when the Saltelli–Sobol pipeline yields a defensible empirical band, the corresponding methodology section will be amended via a new ADR.

Padrões que seguimos

Manifesto de Leiden (Hicks et al. 2015) · Princípios de Berlim (observatório IREG) · Manual OECD/JRC de Indicadores Compostos (Saisana 2008/2011) · DORA · AAPOR

Para detalhe completo

Estes documentos fazem parte do repositório do projeto; a metodologia evolui via emendas ADR versionadas, não via mudanças silenciosas.