kunnen de resultaten van een onderzoek significant zijn maar niet betrouwbaar?

Een significant verschil is een maat die de betrouwbaarheid van statistische afwijking aangeeft tussen de meetresultaten. Daarmee geef je niet aan of het onderzoek zelf wel betrouwbaar is.

Toegevoegd na 1 minuut:
Significant zegt dus wat over de betrouwbaarheid van de meetgegevens doordat het iets zegt over de kans dat het verschil in meetgegevens op toeval berust.

Toegevoegd na 7 minuten:
Een goed voorbeeld is m.i. bijvoorbeeld de kleine afwijkingen die gevonden zijn bij metingen in de deeltjesversneller waarbij deeltjes sneller zouden bewegen dan de lichtsnelheid. De verschillen kunnen significant zijn, maar zullen herhaaldelijk aangetoond moeten worden door andere om de betrouwbaarheid te vergroten.

Daarnaast kan de conclusie uit de meetgevens ook een verkeerde interpretatie zijn.

Toegevoegd na 11 minuten:
Dus: Ja, de resultaten kunnen significant zijn maar het onderzoek onbetrouwbaar. Of de resultaten kunnen betrouwbaar zijn, maar de conclusie onjuist.

Natuurlijk kan dat: als je meetinstrumenten niet goed zijn, of als je onderzoeksopzet niet deugt, dan kun je nog zulke significante verschillen vinden, maar dan zijn je resultaten valide noch betrouwbaar. Als je bij herhaling dezelfde resultaten vindt, kun je pas spreken van een betrouwbare meting. Dan weet je alleen nog niet of die valide is, dus of je meetinstrumenten datgene meten wat je wilt meten.

Betrouwbaarheid heeft te maken met een ander begrip: nauwkeurigheid. Ik leg het uit aan de hand van een voorbeeld.

Deze kip weeg 2 kg, uit ervaring weet ik dat ik er niet ver naast zit, waarschijnlijkheid dat ik gelijk heb stel ik op 95 %

Nu zeg ik dat de kip 2,1 kg zwaar is. Ik vergroot dus mijn nauwkeurigheid, maar verklein daardoor de betrouwbaarheid van mijn uitspraak. De waarschijnlijkheid dat ik gelijk heb is bijvoorbeeld gedaald tot 80 %

Als je de nauwkeurigheid vergroot dan daalt de betrouwbaarheid automatisch.


In jouw vraagstelling heeft de significantie een zekere betrouwbaarheid. Bij een betrouwbaarheid van 95.4 % ligt de gezochte waarde tussen 12 en 14 cm..
De vraag stellen zoals jij dat doet heeft geen betekenis. Door te schuiven met jouw betrouwbaarheid kun je alles significant maken.