Qual o melhor teste para a comparação de médias?

Se você faz pesquisa científica então com certeza já precisou comparar médias para analisar os resultados obtidos. O problema é que existem muitos testes estatísticos possíveis e cada um deles é aplicado para uma situação diferente. Então, como saber qual o melhor para os dados da sua pesquisa?