Erros estatísticos que devem ser evitados durante a escrita de seu manuscrito

Uma das coisas mais frustrantes para um revisor de artigo é receber um manuscrito com uma excelente ideia científica bem fundamentada, mas com uma execução experimental mal planejada e uma falha de análise estatística dos dados gerados no trabalho.

Infelizmente a esmagadora maioria dos trabalhos científicos publicados contém resultados positivos; entretanto, a publicação de dados negativos, que seria extremamente importante ao desenvolvimento da ciência, por permitir que pesquisadores não cometam erros previamente realizados, raramente são aceitos para publicação. Como consequência direta, a grande maioria dos trabalhos publicados tentam mostrar correlações e significância estatística, e não a ausência destas. Assim, devido a pressão por publicações, cientistas e pesquisadores tendem muitas vezes a utilizar análises estatísticas de dados que favorecem as suas hipóteses.

Entretanto um texto publicado recentemente na elife enumera 10 erros estatísticos comumente cometidos em manuscritos submetidos a publicação. Neste texto iremos citar aqueles mais importantes e que devem ser evitados a todo custo para que o seu artigo seja aceito e nunca seja retratado.

Ausência de controles positivos e negativos

Todos os pesquisadores, querendo provar uma hipótese alternativa, necessitam achar uma associação entre causa e efeito fenomenológico. Portanto, a hipótese a ser demonstrada tem que fundamentalmente ser diferente da hipótese nula (ausência de associação entre diferentes variáveis).

Entretanto, para utilizar parâmetros objetivos de comparação em um estudo, são necessários controles negativos (que indicam a ausência de associação ou correlação) e controles positivos (indicando a presença do fenômeno de interesse). A presença de controles experimentais não apenas torna claro se um experimento apresentou uma associação ou a falta dela, como também pode permitir a quantificação de um efeito em relação ao controle.

Um outro erro comumente cometido é a utilização de controles não adequados, o qual em geral é facilmente corrigido através da replicação do teste, mas na ausência do fator que causa o efeito. Isto também permite-se aplicar uma correção do ruído que o experimento possui e indica a quantidade de possíveis falsos positivos inerentes ao estudo.

Entretanto, tais erros são facilmente detectáveis em um manuscrito, já que manuscritos sem grupo controles experimentais apresentam apenas um grupo experimental que não é diretamente comparado.

Uso de amostras de tamanho inapropriado

O erro associado a medidas experimentais é inversamente proporcional ao tamanho da amostra utilizada no estudo. Portanto, em estudos utilizando pequenas amostras, apenas efeitos grandes podem ser detectados de maneira significante, dado que efeitos menores podem ser da mesma ordem de grandeza do erro (ou da incerteza) associado à sua medição. Isso acontece porque a introdução aleatória de falsos positivos em amostras pequenas pode apresentar uma forte correlação (que é falsa). Como exemplo no texto, os pesquisadores citam que os falsos positivos em uma amostra N = 15 apresentam correlação variando entre 0,5 e 0,75, enquanto para uma amostra N = 100 essa correlação entre falsos positivos cai para 0,2 a 0,25.

Outro problema é que amostras pequenas (menores que N = 30) tendem a não apresentar uma distribuição normal, o qual é o modelo assumido por muitas análises estatísticas. Por outro lado, amostras extremamente grandes, que diminuiriam a incerteza associada ao estudo e se aproximam de uma distribuição normal, tendem a ser muito custosas, demandando muito mais tempo e recursos financeiros para serem testadas.

Correlação não significa causalidade

Um estudo demonstrou que o consumo de queijo entre 2000 e 2010 apresenta uma alta correlação com o número de pessoas que se sufocaram no próprio lençol. Enquanto ter uma alta correlação pode indicar associação entra causa e efeito, várias correlações podem ocorrer ao acaso.

Em geral, pesquisadores deveriam entender os fundamentos do seu experimento e, baseado nisso, ter uma ideia se deveria esperar por uma correlação entre variáveis ou não.

Flexibilizar as análises para hackear os valores no teste de valor-p

Em geral, pesquisadores trabalham com amostras menores que as necessárias para se ter uma distribuição normal dos dados, e, portanto, o teste de valor-p é utilizado para analisar se existem diferenças estatisticamente significantes entre duas populações (geralmente experimental e controle).

Ao flexibilizar a análise de teste de valor-p utilizando parâmetros ao invés de dados brutos permite a introdução de extra falsos positivos. Como visto acima, a introdução randômica de falsos positivos na análise pode levar a correlações (ou valores-p estatisticamente significantes).

Interpretar demais resultados não significativos

Resultados estatisticamente não significativos podem ter diferentes significados: eles podem indicar um resultado realmente nulo, ou podem indicar que o efeito estudado não tem um efeito significativo nas condições testadas.

No caso deste último, a ausência de evidências demonstrando associação entre causa e efeito não necessariamente significa evidência de ausência de associação. Outros estudos futuros utilizando o mesmo modelo podem se provar mais sensitivos na detecção de produtos do experimento testado e demonstrar associação entre 2 variáveis. Um valor-p não significante não distingue entre falta de efeito observado e falta de sensitividade do experimento em questão. Nunca utilize falta de significância (baixos valores de valor-p) para demonstrar ausência de efeito.

Análise circular de dados

Os dados são soberanos e não podem ser alterados. Os dados experimentais obtidos provam ou desaprovam teorias, e podem ser utilizados para formular novas hipóteses. Não use os seus dados de maneira reciclável para estudar as variáveis em questão e criar inferências estatísticas, ou ainda, não separe somente os subconjuntos de dados que demonstram uma teoria, ignorando os dados que claramente desaprovam ela.

Outros tipos de erros estatísticos comumente encontrados em manuscritos

Além dos erros estatísticos citados acima, temos alguns outros deslizes que podem ser evitados, como por exemplo a utilização de correlações falsas, eliminação de dados fora da reta teórica; falhar em corrigir múltiplas comparações ou interpretar comparações entre dois efeitos sem compara-los diretamente.

Assim, a escrita de um manuscrito de qualidade começa com experimentos bem desenhados e contendo todos os controles necessários, com a execução correta dos experimentos, utilizando o tamanho amostral correto e com a interpretação estatística adequada dos dados obtidos, sem faltar com clareza em como os dados foram obtidos. Evite os erros estatísticos acima citados, e as suas chances de ter um manuscrito com boas ideias rejeitado será drasticamente reduzido.