Mensuração e Erros
O processo de mensuração
Há muitos construtos sociais, um tanto quanto abstratos, que gostaríamos de medir, por exemplo: nível de rejeição de algum candidato, grau de satisfação com uma política pública, grau de felicidade (!!).
Numa pesquisa quantitativa — cujo objetivo é produzir descrições quantitativas sobre uma população — o passo seguinte, no processo de mensuração, é decidir como medir tais construtos. Passa-se por um processo de operacionalização vindo da definição conceitual até a formulações das perguntas inseridas no questionário da pesquisa amostral, que é levada ao exercício de campo — para a coleta dos dados junto aos entrevistados — e processada de forma a gerar estimativas e indicadores, com resultados interpretáveis e, potencialmente, generalizáveis para a população alvo. Potencialmente, pois, nem todas as pesquisas amostrais têm resultados que podem ser generalizados.
O grau de generalização está ligado ao grau de confiabilidade das medidas, que também está ligado à validade da mensuração — além de estar ligado ao uso de metodologias com base em sorteios aleatórios.
Vamos do começo
No artigo sobre a margem de erro ofereci uma breve definição de alguns conceitos fundamentais:
- parâmetro é o valor real daquilo que gostaríamos de quantificar na população, ou conhecer — por definição, é uma quantia desconhecida;
- estimativa é a quantia ou resumo quantitativo do que se observa — é o que medimos; e
- erro de estimação — ou simplesmente Erro — é a diferença daquilo que se observa e aquilo que se quer medir, ou seja
O erro, como definido, pode surgir por diversas situações — digo, por usarmos um cadastro amostral (a listagem das unidades populacionais) desatualizado ou incompleto; por falta de respostas válidas para um certo subgrupo da população; por defeitos no instrumento de coleta — defeito na formulação de perguntas gerando tendência; ou até mesmo por falhas decorrentes durante a fase de crítica e processamento dos dados.
Esse conceito também está ligado ao conceito da incerteza, ou variabilidade das medidas. Uma única mensuração não possui variabilidade (embora possa possuir erro). Mas, o processo de repetir as mensurações — em diferentes sujeitos ou em diferentes momentos do tempo — gera uma variabilidade inerente ao próprio fenômeno, por exemplo, devida a variabilidade natural existente entre os sujeitos entrevistados, e de forma mais profunda, devido a termos selecionado aquela amostra específica, e não uma outra qualquer (composta por outros sujeitos).
A pergunta é: a variabilidade que observamos é natural ou induzida por algum fator? Estamos na presença de erro aleatório ou erro sistemático?
Erro Aleatório
Erro aleatório, é um erro que acontece em qualquer direção — para mais ou para menos — mas que sua média (valor esperado) tende para zero. Logo, se aumentamos as repetições das mensurações, ou o tamanho da amostra, o impacto do erro aleatório se anula. Está ligado à variabilidade natural das medidas/dos sujeitos.
Alguns de vocês já devem estar familiarizados com o exemplo dos alvos (ver Bussab e Morettin, 2017).
Vamos supor que o valor verdadeiro daquilo que queremos medir seja o alvo e os diferentes pontos são as repetições das mensurações. Uma mensuração com pouco erro aleatório teria a seguinte representação:
Temos pouca variabilidade! O oposto disto, seria uma mensuração sob o impacto do erro aleatório — refletindo numa nuvem de pontos mais dispersa:
Ainda acertamos o alvo — na média (?).
Viés — Ou Erro Sistemático
E se a variabilidade é induzida por algum fator que sistematicamente empurra a nuvem de pontos, as diferentes mensurações, numa única direção? Estamos então na presença do erro sistemático — ou viés, ou tendência. É o tipo de erro que acontece numa só direção, ou sempre para mais ou sempre para menos — não acertamos o alvo nunca!
Um erro não exclui o outro — podemos ter mensurações que sofrem impacto tanto do erro aleatório quanto do erro sistemático:
Esses dois conceitos de erro estão ligados a outros dois conceitos utilizados no processo de mensuração: validade e confiabilidade
Uma mensuração válida (ou o resultado válido para uma pesquisa) mede aquilo que se quer medir com exatidão — acertamos no alvo! Uma mensuração com confiabilidade, é uma mensuração confiável, precisa, consistente. Sob diversas repetições (tempo, espaço, contexto) produz (aproximadamente) o mesmo resultado — produz uma nuvem de pontos pouco dispersa.
Validade está ligada ao erro sistemático e confiabilidade está ligada ao erro aleatório. Dessa forma, para uma medida ser válida ela precisa ser confiável.
A validade e a confiabilidade estão ligadas também ao grau de generalização dos resultados de uma mensuração — ou de uma pesquisa: do que vale generalizar uma medida tendenciosa? O remédio para as ameaças à validade das medidas é o uso de aleatorização — no caso de pesquisas por amostragem, seria o uso de métodos de seleção baseados em sorteios aleatórios.
