Tortent valaha olyan, hogy sok kiserlet utan, az osszeallitott meta-analizis nagyon szignifikans volt, de kesobb kiderult, az efektus nem letezik?

A tudós tanulmányozta a bolhát.

Rákiáltott, ugorj bolha. És a bolha ugrott.

Erre kitépte az egyik lábát, és újra rákiáltott, ugorj bolha. És a bolha ugrott. Még egy lábát kitépve megismételte a kísérletet. Majd ismét.

A tudós a bolha utolsó lábát is kitépve ismét rákiáltott, ugorj bolha. És a bolha nem ugrott.

Erre a tudós a jegyzőkönyv végére odaírta, ha a bolha valamennyi lábát kitépjük - megsüketül...

Feltételezem, hogy az első arra célzott, hogy attól függ, hogy hogy végzik el a kísérleteket. Ha a metaanalízisban vizsgált kísérletek "jól" voltak elvégezve (kontrollcsoportos, kettős vak, nagy sorozatú stb.), akkor a kimutatott jelenség minden bizonnyal létezik. Ha a kísérletek teret engednek az emberi szubjektivitásnak, akkor a metaanalízis is megbízhatatlan lesz.

Egyébként csak nem a Ganzfeld-effektusról beszélsz? ;)

Ezek mellett még van néhány olyan statisztikai tény, ami finoman szólva is óvatosságra int!

1. Nagy adatbázisokon lényegtelen, pl. klinikailag jelentéktelenül kicsi különbség, vagy hatásnagyság is szignifikáns lesz. (Mert a konzisztens próba ereje szépen növekszik a mintaelemszámmal, magyarán szólva nagyon nagy mintán nagyon kicsi különbség is szignifikáns lesz)

Pl. 0.1 korrelációs együttható adódik 10000-es mintán, a 0.1-es korreláció azt jelenti, hogy a függő változó teljes változékonyságának 99%-át más tényezők, hatások okozzák, magyarán szólva nem éppen szoros a kapcsolat... A nagy mintaelemszám miatt azonban bőven szignifikáns lesz az eredmény.

Tanulság: nagy mintánál nem csak azt kell nézni, hogy szignifikáns-e valami, hanem azt is, hogy szám szerint mekkora különbséget, vagy hatásnagyságot kaptunk és hogy az szakmailag releváns-e!

2. Ha nagyon sok próbát hajtunk végre, akkor ha nincs is valójában effektus, akkor is, 5%-os alfa mellett átlagban minden 20-dik esetben hamisan kapunk statisztikailag szignifikáns eredményt!

Ha egy egész tanulmányban n darab szignifikancia tesztet hajtunk végre, akkor annak a valószínűsége, hogy nem követünk el SEHOL elsőfajú hibát 1-(1-alfa)^n ez mondjuk 5% és 100 próba esetén majdnem nulla, magyarul majdnem biztosan találtunk hamis szignifikáns eredményt valahol!!

Ez az ún. multiplicitási probléma, meta-analízisnél különösen fontos! Ezért kell valamilyen módon korrigálni a próbák eredményeit...(pl. Bonferroni)

Az adatok kiértékelését nagy gonddal kell végzeni! Lehetőleg matematikus, vagy jól képzett statisztikus (ilyen szak tudtommal nincs) segítsége kell hozzá (gyakran nagyobb vizsgálatnál kettő-három matematikus is kell).

De még ebben az esetben sem "garantált", hogy nem történik hibás következtetés, nem lehet garantálni, hiszen ha biztosan tudnánk az "igazságot", akkor nem is lenne szükség hipotézisre sem... :)