Pesquisadores nos primórdios da investigação científica frequentemente usavam abordagens muito simples para a experimentação. Uma abordagem comum era conhecida como "um fator de cada vez" (ou OFAT) e envolvia a alteração de uma variável em um experimento e a observação dos resultados, passando então para a próxima variável única. Os cientistas modernos usam métodos mais sofisticados de realizar testes em que consideram diferentes fontes de variação que podem afetar os resultados.

Design de experimentos

O processo de design de experimentos é um método de reunir testes que fornecer a maior quantidade possível de informações. Normalmente, um experimento planejado destina-se a encontrar os efeitos de vários fatores diferentes no resultado de um processo. Cientistas reuniram experimentos que mostrarão se a variação entre indivíduos expostos a diferentes fatores é maior do que a variação dentro de grupos de indivíduos, todos expostos ao mesmo fator. Alguns experimentos planejados também podem mostrar se há alguma interação entre vários fatores.

Dentro de assuntos

Dentro de variação de assunto em um experimento se refere à variação vista em um grupo de sujeitos que são todos tratados mesmo caminho. Se um médico está testando três medicamentos para procurar uma diferença na sua eficácia, e também está interessado em diferenças entre os sexos, ela pode separar os indivíduos do sexo masculino em três grupos e tratar cada um com um medicamento diferente, e fazer o mesmo com três grupos femininos. Mesmo dentro de um grupo de sujeitos (mesmo sexo, mesmo medicamento), no entanto, pacientes diferentes terão respostas diferentes. Essa é a variação dentro do assunto.

Entre os assuntos

O outro tipo de variação em um experimento é entre o assunto. Essa é a diferença entre diferentes grupos expostos a diferentes fatores. No exemplo dos testes médicos, ela observaria a diferença no tempo médio de recuperação entre os grupos masculino e feminino e também entre cada um dos grupos que toma um dos três medicamentos. Em cada caso, provavelmente haverá diferenças entre os grupos. A tarefa do experimento planejado é verificar se essa diferença é estatisticamente significativa.

ANOVA

Um pesquisador usará ANOVA, análise de variância, estatística para comparar dentro e entre a variação do assunto. O teste de ANOVA relaciona as variações "dentro" às "entre". Se houver variação significativa dentro dos mesmos grupos, isso sugere que o teste em si tende a ter uma ampla gama de resultados. Se a variação "dentro" estiver no mesmo patamar da variação "entre", o teste ANOVA concluirá que o pesquisador não pode dizer que os fatores tiveram efeito, pois quaisquer efeitos aparentes poderiam ser devidos apenas à variação aleatória vista dentro grupos de teste. Uma abordagem mais sofisticada, conhecida como ANOVA bidirecional, também pode detectar interações entre fatores.