Scelta del livello di significatività

    Nel verificare l'ipotesi nulla il test statistico fornisce un valore di probabilità (p) che è uguale o minore ad una percentuale prescelta. Poiché la probabilità p è utilizzata per decidere se accettare o no H₀ è opportuno, oltre che corretto, stabilire questo valore prima della raccolta dei dati. La scelta di un livello di significatività poco severo ci può far rifiutare l'ipotesi nulla, così come un livello di significatività troppo rigoroso può portare ad una sua accettazione arbitraria.
    Se il valore p fornisce una probabilità uguale o minore a quella prescelta, allora si respinge l'ipotesi nulla in favore dell'ipotesi di lavoro (H₁).  I valori di probabilità p più comunemente accettati sono p = 0,05 e p = 0,01. Questi valori, tuttavia, sono arbitrari quindi non devono essere considerati come una "linea divisoria" assoluta. Nella maggior parte dei lavori scientifici sono riportati i livelli di significatività standard, perciò si fornisce il risultato a p < 0,05 oppure a p < 0,01. Attualmente, grazie alla possibilità di utilizzare programmi per lo studio statistico con il personal computer si tende a riferire il valore della probabilità reale, per esempio p = 0,42 o p = 0,03, ecc..