Már két hete, hogy meghirdettük második online kísérletünket, legfőbb ideje, hogy eláruljuk az eredményeket. Örömteli dolog, hogy várakozásainkhoz képest jóval több helyes megoldás érkezett.E sorok írásakor az eddig beérkezett válaszok száma 807, de mivel 750-nél engedélyeztük a kommenteket és ez befolyásolhatta a további válaszokat, a kiértékelés az első 750 válasz alapján történt. Ezek közül is 33 nem volt értelmezhető, maradt tehát 717 érvényes válasz.
A feladat
Emlékeztetőül: a feladat az volt, hogy számhármasok tesztelésével fejtsünk meg egy bizonyos szabályt. Előre csak annyit mondtunk, hogy a (2,4,6) számhármas eleget tesz a szabálynak, ezután viszont a résztvevők tetszőleges számú számhármast ellenőrizhettek a weboldalba beágyazott űrlap segítségével, mely bármely számhármasra megmondta, az megfelel-e a szabálynak.
Először is leplezzük le a titkot, amely már egyébként is nyílt titok: a szabály mindössze az volt, hogy három különböző szám növekvő sorrendben szerepeljen.
Helyes és helytelen válaszok: statisztika
A helyes válaszok aránya: 55,2%
A beérkezett 717 érvényes válasz alapján ezt a szabályt a válaszolók 55,2%-a helyesen határozta meg! Őszintén szólva ennél gyengébb eredményre számítottunk. Érdemes persze megjegyezni, hogy a kísérlet első néhány órájában, amikor még az Index főoldalán is kint volt a kísérlet linkje, ennél valamivel gyengébb eredmény született: 47% volt a helyes válaszok aránya. Ez talán a kevésbé válogatott olvasóközönségnek tudható be (büszkék lennénk, ha rendszeres olvasóink jobban szerepelnének egy ilyen feladatban), de ez csak spekuláció, így a továbbiakban nem is foglalkozunk ezekkel a részeredményekkel.
A válaszolók 44,8%-a tehát hibás választ adott. Néhány esetben a válasz az volt, hogy bármilyen számhármas jó, a rendszer mindent elfogad, de a hibás válaszok túlnyomó többsége valamilyen, eléggé speciális szabályt adott meg, pl. "2-esével növekvő számok", "számtani sorozat", sőt, olyan megoldást is kaptunk, miszerint "az első szám adott, a második szám az első szám négyzete, a harmadik szám pedig az első szám köbe mínusz az első szám".
Megerősítések és cáfolatok
Kísérletünk célja azonban nem az volt, hogy megmutassuk, milyen sokan adnak téves választ, s ezen szörnyülködjünk. Sokkal inkább az érdekelt minket: mitől függ, hogy valaki helyes vagy helytelen megoldásra jut-e, ez ugyanis gondolkodásunk mechanizmusát világítja meg. Most már elárulhatjuk: amikor egy-egy résztvevő (nevezhetjük játékosnak is) elküldte nekünk válaszát, akkor két másik adatot is megkaptunk a válasszal együtt: azt, hogy a játékos hány esetben kapott "Megfelel", és hányban "Nem felel meg" választ, midőn számhármasokat ellenőrzött. Nevezzük a "Megfelel" válaszokat megerősítéseknek, a "Nem felel meg" válaszokat pedig cáfolatoknak.
Amikor valaki elkezdi a játékot, a kiinduló (2,4,6) számhármas alapján már van valamilyen elképzelése arról, milyen lehet a megtalálandó szabály, még ha mégoly bizonytalan is. Van tehát a fejében valamiféle feltevés, hipotézis. Amikor egy számhármast tesztel, ennek a hipotézisnek a helyességéről próbál meggyőződni: megerősítést vagy cáfolatot vár. A kapott visszajelzések alapján módosítja a hipotézist, majd azt is teszteli. Ez a folyamat tulajdonképpen elég jól modellezi a tudományos megismerés folyamatát.
Ebben a játékban két paraméter lehet fontos a folyamat végeredménye szempontjából:
- Hány számhármast tesztelünk?
- A tesztelések során milyen arányban kapunk cáfolatot, ill. megerősítést?
Egy játékos átlagosan 13,7 számhármast tesztelt.
Egy játékos az általa tesztelt számhármasoknak átlagosan 23,5%-ára kapott cáfolatot.
Egy játékos az általa tesztelt számhármasoknak átlagosan 23,5%-ára kapott cáfolatot.
Természetesen az, hogy valaki hány számhármast tesztel, azon is múlik, mennyire elszánt, ill. mennyire ér rá a feladattal bíbelődni. A játékosok átlagosan 13,7 számhármast teszteltek - persze előfordultak szélsőségek is: volt, aki beérte egyetlen próbával, de olyan is akadt, aki 267 számhármast ellenőrzött le. Figyelemre méltó viszont, hogy a teszteknek mindössze 23,5%-a zárult cáfolattal - ez azt jelenti, hogy a játékosok átlagosan több mint háromszor annyi megerősítést kaptak próbáikra, mint cáfolatot! Vajon befolyásolták-e ezek a paraméterek a megoldások helyességét?
Miben különböznek egymástól a helyesen és a helytelenül válaszolók?
Érdemes az említett két paramétert külön kiszámítani a helyes és a helytelen választ adók csoportjára:
| Helyesen válaszolók | Helytelenül válaszolók | |
| Tesztelt számhármasok átlagos száma | 20,6 | 5,3 |
| A cáfolt számhármasok átlagos részaránya | 35,6% | 8,6% |
Óriási különbségek figyelhetőek meg a két csoport között: míg a helyesen válaszolók átlagosan 20,6 számhármast teszteltek és ezek 35,6%-ára kaptak cáfolatot, a hibás választ adók megelégedtek átlagosan 5,3 számhármas tesztelésével, és ezeknek is mindössze 8,6%-ára kaptak cáfolatot. Ez persze csak úgy lehetséges, ha a játékosok jó része egyáltalán nem is kapott cáfolatot. Valóban: a hibás választ adók 70%-a úgy küldött be megoldást, hogy egyetlen számhármasra sem kapott "Nem felel meg" választ; ezzel szemben a helyesen válaszolóknak mindössze 1,2%-a jött rá a szabályra cáfoló visszajelzés nélkül.
Esély a helyes válaszra
Eddig azt vizsgáltuk, miben különbözik egymástól a helyes és a helytelen megoldást adók csoportja. Érdemes azonban a kérdést úgy is feltenni: mi a receptje a helyes válasz elérésének, azaz hogyan növelhetjük esélyünket arra, hogy helyes válaszra jussunk?
A fentiek alapján világos, hogy jó, ha minél több számhármast tesztelünk, és az is növeli az eredményességet, ha kellően magas arányban kapunk cáfoló visszajelzést tesztjeink során. Mivel az adatok szerint ez a két paraméter erősen összefügg egymással (azok, akik sok számhármast teszteltek, rendszerint nagyobb arányban is kaptak cáfolatokat), nehéz a hatásukat egymástól elkülöníteni. Az alaposabb elemzés azonban megmutatja, hogy a cáfolatok arányának van jelentősebb szerepe (ennek korrelációs együtthatója a válasz helyességével 0,69, míg a próbák számáé csak 0,48). Ez tehát azt jelenti, hogy a cáfoló visszajelzések arányának növelésével javíthatjuk leginkább az esélyünket arra, hogy egy efféle feladatnál eljussunk a helyes megoldáshoz.
Ezt illusztrálja az alábbi ábra is, amely azt mutatja, hogy a pontosan 7 számhármast tesztelők között hogyan függött a helyes választ adók aránya attól, hogy hány esetben kaptak cáfolatot:
Mennyi cáfolatra van szükségünk a helyes válaszhoz?
Világos, hogy a helyes megoldáshoz való eljutás szempontjából mind a megerősített, mind a cáfolt próbák nélkülözhetetlenek. A megerősítések révén kiterjeszthetjük, a cáfolatok révén pedig szűkíthetjük a vizsgált hipotézis érvényességi körét. A cáfolatok optimális aránya attól is függ, hogy milyen típusú szabályokat vonunk be egyáltalán a hipotézistesztelés folyamatába, így erre konkrét számot nem lehet mondani. Az azonban sokatmondó, hogy a jelen feladat esetében az összes létező számhármasnak csupán mintegy 1/6-a felel meg a tényleges szabálynak.
A helyes válaszok sérülékenysége
Ehhez képest alacsonynak tűnik a helyes választ adók körében tapasztalt 35%-os cáfolatarány: ez azt jelenti, hogy még aki eljutott is a helyes megoldáshoz, az is átlagosan mintegy kétszer annyi megerősítő választ kapott próbálkozásai során, mint amennyi cáfolót. Ennek alapján könnyen lehet, hogy egy kicsit is bonyolultabb szabály már a most helyes megoldást adók nagy részén is kifogott volna. Vajon a helyes választ adók mekkora része tesztelt például negatív számokat? Ha a negatív számokra más szabály vonatkozott volna, alighanem jóval kisebb lenne a helyes megoldások aránya.
A megerősítési torzítás
Láthattuk tehát, hogy szinte mindenki, még a helyes választ adók is jóval több megerősítő visszajelzést kaptak próbáik során, mint amennyi cáfolót. Ez nem véletlen: ők maguk vitték be azokat a számhármasokat, amelyekre ezek a visszajelzések érkeztek, és hogy mikor álltak meg, azt egyedül ők határozták meg, tehát tetszőleges cáfolatarányt elérhettek volna. Azonban a résztvevők nagy többsége olyan módon vált eléggé biztossá a válaszában, hogy sok megerősítést kapott, kevés cáfolat mellett.
Ennek a jelenségnek a pszichológiában külön neve is van: megerősítési torzítás, az angol nyelvű szakirodalomban confirmation bias. Most már elárulhatjuk, hogy online kísérletünk voltaképpen Peter Cathcart Wason angol pszichológus 1960-ban publikált kísérletének reprodukálása volt, s a szakirodalomban "2-4-6 probléma" néven ismert. Ez az egyik alapkísérlet, mely a megerősítési torzítás létezését igazolja. Korábbi online kísérletünk (a piros hátú kártyákkal) szintén Wason találmánya, s Wason-féle szelekciós feladat néven ismert. Bár a szelekciós feladatnak más vonatkozásai is vannak, részben az arra adott hibás válaszok is a megerősítési torzítás következményei: azt a kártyalapot fordítjuk meg, amely igazolja a vizsgált állítást, s nem is jut eszünkbe megfordítani azt, amelyik cáfolhatná.
Állandóan a megerősítést keressük tehát, és irtózunk a cáfolatoktól. Emiatt pedig sok-sok tévhitet alakítunk ki magunkban, s ezekben ráadásul egyre biztosabbak leszünk. De ez már egy következő cikk témája lesz.
Ajánlott bejegyzések:
A bejegyzés trackback címe:
https://szkeptikus.blog.hu/api/trackback/id/tr87459352
Kommentek:
A hozzászólások a vonatkozó jogszabályok értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a Felhasználási feltételekben és az adatvédelmi tájékoztatóban.
Csak a 100 legfrissebb kommentet szeretném látni!
Gabor 2008.05.08. 09:42:37
Sziasztok,
Jó kis elemzés, de talán még fontosabb tanulság, hogy az emberek nagyon nagy része a mindennapi életben is így - felszínes információk alapján dönti el, hogy mit hisz el és mit nem.
Magyarul mindent bekajálnak :)
Persze ennek akár evolúciós okai is lehetnek - hiszen ha látok egy nagydarab, barna szőrű, morgó valamit akkor azt ha az első hipotézis alapján barlangi medvének ítélem és elfutok akkor jobb esélyem van a túlélésre, mintha megpróbálok cáfolatot szerezni a hipotézisemre :)
G.
Jó kis elemzés, de talán még fontosabb tanulság, hogy az emberek nagyon nagy része a mindennapi életben is így - felszínes információk alapján dönti el, hogy mit hisz el és mit nem.
Magyarul mindent bekajálnak :)
Persze ennek akár evolúciós okai is lehetnek - hiszen ha látok egy nagydarab, barna szőrű, morgó valamit akkor azt ha az első hipotézis alapján barlangi medvének ítélem és elfutok akkor jobb esélyem van a túlélésre, mintha megpróbálok cáfolatot szerezni a hipotézisemre :)
G.
kikuchiyo 2008.05.08. 09:44:47
Ha szőrszálat akarunk hasogatni, akkor a fent leírt szabály nem pontos. Pontosan így hangzik:
"Ha 'a' egész szám, akkor jelölje d(a) azt a dupla pontosságú lebegőpontos számot, amelyet a Javascript parseInt függvénye előállít belőle.
Ekkor az a,b,c számhármas megfelelő, ha d(a)
"Ha 'a' egész szám, akkor jelölje d(a) azt a dupla pontosságú lebegőpontos számot, amelyet a Javascript parseInt függvénye előállít belőle.
Ekkor az a,b,c számhármas megfelelő, ha d(a)
kikuchiyo 2008.05.08. 09:47:40
Elnézést, nem szereti a kisebb-nagyobb jeleket.
"Ha 'a' egész szám, akkor jelölje d(a) azt a dupla pontosságú lebegőpontos számot, amelyet a Javascript parseInt függvénye előállít belőle.
Ekkor az a,b,c számhármas megfelelő, ha d(a) kisebb, mint d(b) és d(b) kisebb, mint d(c)."
Ki lehet próbálni a 10^16+1, 10^16+2, 10^16+3 számhármast, nem lesz jó, mert ezeket már nem lehet 53 biten ábrázolni.
Érdekes kérdés lenne még, hogy melyek azok a számhármasok, amelyeket egymás után kipróbálva a leggyorsabban el lehet jutni a helyes szabályhoz. Az információelmélet erre azt válaszolja, hogy olyan kérdéseket kell feltenni, amelyekre a válaszok a lehető legtöbb információt adják vissza, azaz a leginkább csökkentik az entrópiát.
Esetleg érdemes lenne a beérkezett adatok alapján megnézni, hogy a válaszadók stratégiája mennyire tükrözi ezt az ideális stratégiát. Gyanítom, hogy a legtöbben nem igazán tudatosan próbálgattak.
"Ha 'a' egész szám, akkor jelölje d(a) azt a dupla pontosságú lebegőpontos számot, amelyet a Javascript parseInt függvénye előállít belőle.
Ekkor az a,b,c számhármas megfelelő, ha d(a) kisebb, mint d(b) és d(b) kisebb, mint d(c)."
Ki lehet próbálni a 10^16+1, 10^16+2, 10^16+3 számhármast, nem lesz jó, mert ezeket már nem lehet 53 biten ábrázolni.
Érdekes kérdés lenne még, hogy melyek azok a számhármasok, amelyeket egymás után kipróbálva a leggyorsabban el lehet jutni a helyes szabályhoz. Az információelmélet erre azt válaszolja, hogy olyan kérdéseket kell feltenni, amelyekre a válaszok a lehető legtöbb információt adják vissza, azaz a leginkább csökkentik az entrópiát.
Esetleg érdemes lenne a beérkezett adatok alapján megnézni, hogy a válaszadók stratégiája mennyire tükrözi ezt az ideális stratégiát. Gyanítom, hogy a legtöbben nem igazán tudatosan próbálgattak.
wice 2008.05.08. 10:44:35
szerintem semmi meglepo nincs abban, h magasabb volt a megerositett probalkozasok aranya, mint a novekvo szamharmasok tenyleges aranya. amikor mar (mindenfele probalkozasok utan) kialakul a hipotezis (pl h novekvo szamsorrol van szo), akkor nyilvanvaloan azt kell minel tobb probalkozassal tesztelni. ez nem confirmation bias, epp ellenkezoleg.
Qzole 2008.05.08. 10:51:46
"Figyelemre méltó viszont, hogy a teszteknek mindössze 23,5%-a zárult megerősítéssel - ez azt jelenti, hogy a játékosok átlagosan több mint háromszor annyi megerősítést kaptak próbáikra, mint cáfolatot!"
Itt csak egy elírás, az első megerősítéssel, az cáfolattal.
Én furcsa mód, éppen cáfolatokat kerestem a hipotézisemre, ezért próbáltam a szabályomnak megfelelő furcsa számokat is, mondjuk egy kicsi két nagy szám, negatív és pozitív, szorosan egymást követő hármas a kis számok tartományában, a nagy számok tartományában, a nagyon kis negatív számok tartományában. Tehát próbáltam megnézni, hogy lehet-e szűkíteni a szabályt, de ugye csak megerősítést kaptam ezekben az esetekben :P
Viszont ugye arra jöttem rá, hogy annyira azért nem sokszor próbáltam fordítva, tehát rossz szabályokat beírni azért, hogy megnézzem, nem bővül-e a szabály hatásköre.
És ez alapján akarom most kérdezni, hogy hogyan is van pontosan ez a megerősítési torzítás, mert épp azért kapunk sok megerősítést, mert a cáfolatokat keressük, de a szabályunk kiállja a sok próbát.
Itt csak egy elírás, az első megerősítéssel, az cáfolattal.
Én furcsa mód, éppen cáfolatokat kerestem a hipotézisemre, ezért próbáltam a szabályomnak megfelelő furcsa számokat is, mondjuk egy kicsi két nagy szám, negatív és pozitív, szorosan egymást követő hármas a kis számok tartományában, a nagy számok tartományában, a nagyon kis negatív számok tartományában. Tehát próbáltam megnézni, hogy lehet-e szűkíteni a szabályt, de ugye csak megerősítést kaptam ezekben az esetekben :P
Viszont ugye arra jöttem rá, hogy annyira azért nem sokszor próbáltam fordítva, tehát rossz szabályokat beírni azért, hogy megnézzem, nem bővül-e a szabály hatásköre.
És ez alapján akarom most kérdezni, hogy hogyan is van pontosan ez a megerősítési torzítás, mert épp azért kapunk sok megerősítést, mert a cáfolatokat keressük, de a szabályunk kiállja a sok próbát.
hvuk 2008.05.08. 10:59:47
Nagyon szép az elemzés, sok érdekes dolgot tudtam meg belőle! De azért vannak fentartásaim, mint az egy jó szekptikushoz illik. :)
"Az azonban sokatmondó, hogy a jelen feladat esetében az összes létező számhármasnak csupán mintegy 1/6-a felel meg a tényleges szabálynak. "
Ez hogy jött ki? Persze ha figyelembe veszed a számábrázolást, azaz azt, hogy az értelmezési tartomány véges, akkor igaz lehet, de ha az egész számok összessége az értelmezési tartomány, akkor pont ugyanannyi jó mint rossz számhármas van.
Van azonban egy ennél lényegesen érdekesebb és megfontolandóbb kritikám, mégpedig a megerősítési torzítással kapcsolatban. A 35%-os cáfolatarány alacsony mivoltának egyik oka lehet az is, hogy miféle triviális szabályt indikál a fenti számhármas. Nézzük a következő gondolati sémát, amiben nem merül fel semmiféle megerősítési szabály, mégis lényegesen több lesz a várhatónál a megerősítések aránya!
1. 2-4-6 számhármas esetén az első triviális ötlet szerintem a k, k+2, k+4 vagy a k, 2*k, 3*k az esetek többségében (sőt, vélhetőleg a legtöbb ember agyában mindkettő felmerül). Semmiképpen nem az igazi szabály!
2. Elvégzünk optimális esetben egy darab kísérletet ami a kettőt szétválasztja. Mondjuk 3-6-9 számpárokkal.
3. Ezután veszünk egy olyan kísérletet ami az általunk vélt szabályt cáfolni tudja. Jó eséllyel ez még mindig megfele az igazi szabálynak.
4. Na, itt akkor most egy kicsit padlót fogunk és kipróbálunk néhány további szabályt (vagy esetleg csak vaktában kísérletezünk), ami esetleg ráillhet az esetre. Rosz setben mg kr smjut eszünkbe az eredeti szabályt cáfoló számhármat kipróbálni.
5. Kipróbálunk végre nem zigmon számpárt is és vélhetőleg ezután elég kevés próbálkozással (értsd: cáfolópróbával) eljutunk a megoldához.
Így aztán szerintem ez a kísérlet nem alkalmas a megerősítési torzítás kimutatására (aminek a létét mellesleg eléggé valószínűnek tartom). A problémát összefoglalva egy mondatba: NEM AZ A LÉNYEG, HOGY HÁNYSZOR VÉGEZTÜNK LYANKÍSÉRLETET AMI A FELADÓ ÁLTAL KIGONDOLT SZABÁLYT CÁFOLJA, HANEM AZ, HOGY HÁNYSZOR VÉGZÜNK OLYAN KÍSÉRLETET AMI AZ ÁLTALUNK ÉPP KIGONDOLT SZABÁLYT CÁFOLJA!
Bocsi a nagybetűkért, de ki akartam emelni a lényeget és szerintem vastag betűt itt nem lehet használni. Nem üvöltözni akartam. :)
"Az azonban sokatmondó, hogy a jelen feladat esetében az összes létező számhármasnak csupán mintegy 1/6-a felel meg a tényleges szabálynak. "
Ez hogy jött ki? Persze ha figyelembe veszed a számábrázolást, azaz azt, hogy az értelmezési tartomány véges, akkor igaz lehet, de ha az egész számok összessége az értelmezési tartomány, akkor pont ugyanannyi jó mint rossz számhármas van.
Van azonban egy ennél lényegesen érdekesebb és megfontolandóbb kritikám, mégpedig a megerősítési torzítással kapcsolatban. A 35%-os cáfolatarány alacsony mivoltának egyik oka lehet az is, hogy miféle triviális szabályt indikál a fenti számhármas. Nézzük a következő gondolati sémát, amiben nem merül fel semmiféle megerősítési szabály, mégis lényegesen több lesz a várhatónál a megerősítések aránya!
1. 2-4-6 számhármas esetén az első triviális ötlet szerintem a k, k+2, k+4 vagy a k, 2*k, 3*k az esetek többségében (sőt, vélhetőleg a legtöbb ember agyában mindkettő felmerül). Semmiképpen nem az igazi szabály!
2. Elvégzünk optimális esetben egy darab kísérletet ami a kettőt szétválasztja. Mondjuk 3-6-9 számpárokkal.
3. Ezután veszünk egy olyan kísérletet ami az általunk vélt szabályt cáfolni tudja. Jó eséllyel ez még mindig megfele az igazi szabálynak.
4. Na, itt akkor most egy kicsit padlót fogunk és kipróbálunk néhány további szabályt (vagy esetleg csak vaktában kísérletezünk), ami esetleg ráillhet az esetre. Rosz setben mg kr smjut eszünkbe az eredeti szabályt cáfoló számhármat kipróbálni.
5. Kipróbálunk végre nem zigmon számpárt is és vélhetőleg ezután elég kevés próbálkozással (értsd: cáfolópróbával) eljutunk a megoldához.
Így aztán szerintem ez a kísérlet nem alkalmas a megerősítési torzítás kimutatására (aminek a létét mellesleg eléggé valószínűnek tartom). A problémát összefoglalva egy mondatba: NEM AZ A LÉNYEG, HOGY HÁNYSZOR VÉGEZTÜNK LYANKÍSÉRLETET AMI A FELADÓ ÁLTAL KIGONDOLT SZABÁLYT CÁFOLJA, HANEM AZ, HOGY HÁNYSZOR VÉGZÜNK OLYAN KÍSÉRLETET AMI AZ ÁLTALUNK ÉPP KIGONDOLT SZABÁLYT CÁFOLJA!
Bocsi a nagybetűkért, de ki akartam emelni a lényeget és szerintem vastag betűt itt nem lehet használni. Nem üvöltözni akartam. :)
D 2008.05.08. 11:01:10
Egyébként van egy másik módszer is: meg kell nézni a mögöttes mechanizmust (az oldal forrásából ki lehetett bogarászni a javascript kódot), és akkor kézzelfogható bizonyíték lesz a szabályra :)
(persze a kitöltés előtt direkt nem néztem meg a kódot, csak utólag)
(persze a kitöltés előtt direkt nem néztem meg a kódot, csak utólag)
hvuk 2008.05.08. 11:02:34
Bocsi a betűkihagyásokért, szar a billentyűzetem. Ez a rész különösen értelmetlen, így ismét beírom:
"Rosz setben mg kr smjut eszünkbe az eredeti szabályt cáfoló számhármat kipróbálni."
=
"Rosz esetben még ekkor sem jut eszünkbe az eredeti szabályt cáfoló számhármast kipróbálni."
"Rosz setben mg kr smjut eszünkbe az eredeti szabályt cáfoló számhármat kipróbálni."
=
"Rosz esetben még ekkor sem jut eszünkbe az eredeti szabályt cáfoló számhármast kipróbálni."
pblue · http://www.savingprivateblue.net 2008.05.08. 11:10:24
szerintem az is fontos, hogy mi a tetje a valaszadasnak. mivel a kiserletben semmi, ezert sokkal inkabb teret enged az ember az intuicionak, mindhogy szisztematikusan vegigvigye a szukseges kiserleteket, mielott eloall a vegso hipotezissel. az intuicio meg leginkabb a tapasztalatokrol, a gyakorlatrol szol. lehet, hogy ez hulyen fog hangzani, de gyanitom, hogy ilyen korulmenyek kozt egy programozo, aki nap mint nap szembesul mondjuk bonyolultabb felteteles szerkezetek osszerakasaval, jobban fog teljesiteni mint mondjuk egy kulpolitikai ujsagiro. mig ha van tetje a dolognak, es az ember nem engedheti meg hogy barmikor megunja a kiserletezest, akkor lehet, hogy mindketten ugyanugy teljesitenek. persze csak spekulalok...
Szilágyi András 2008.05.08. 11:18:37
Qzole: lehet, hogy te úgy gondoltad, hogy cáfolatokat keresel a szabályodra, azonban ezt úgy tetted, hogy a szabályodnak megfelelő számhármasokat adtál be. Ez megfelel a kártyás kísérletben a piros hátú kártya megfordításának, valójában a megerősítést szolgálja. A cáfolatot az szolgálja, ha a szabályodnak nem megfelelő számhármasokat viszel be, hogy megnézd, nem felelnek-e meg azok is. Ez felel meg a kártyás kísérletnél a 3-ast ábrázoló kártya megfordításának. Lehet, hogy nem tökéletes a terminológia, de ilyen értelemben próbáltam használni.
Szilágyi András 2008.05.08. 11:22:09
hvuk: végső soron pont azt számoltuk, hogy a játékosok a saját végső hipotézisükhöz (amit aztán leírtak) hány megerősítés és hány cáfolat után jutottak el. És a lelki nyugalmat a legtöbben úgy érték el, hogy sok megerősítést kaptak és kevés cáfolatot.
Qzole 2008.05.08. 11:43:28
András: Azt hiszem így már értem, meg van esetleg ip szerinti próbálkozás? Be tudod másolni, hogy mikkel próbálkoztam? Az ip-m: nyolcvanöt . hatvanhat . kettőszáznégy . százötvenhárom
szhun 2008.05.08. 11:57:36
hvuk!
Gondolom, úgy jött ki az 1/6-od, hogy három számot hat féle módon lehet sorba rendezni. De az kimaradt belőle, hogy mi van, ha valamely (vagy mindegyik) szám egyforma. Tehát a számhármasok 1/6-odánál is kicsit kevesebb a lehetséges.
Persze a javascript is korlátozza a szabályt, de ennyire kukacosnak talán nem kell egy ilyen tétű (semmilyen) feladatnál lenni.
Qzole: Az a baj, hogy olyan hipotézist nem állítottál fel, hogy a szabály az, hogy a szabálynak vagy b szabálynak (vagy c-nek..) megfelelő számhármasok. (tehát hogy több féle szabály is, a szabályok uniója is megfelel.)
Szilágyi András!
A kártyás feladványra helyesen válaszolók számát az is csökkentheti, ha valaki olyan hülye, mint én: én ugyanis rosszul olvastam a kérdést, és páros helyett is pirosat olvastam. :-) Így persze már elég csak a piros kártyát megfordítani.
Gondolom, úgy jött ki az 1/6-od, hogy három számot hat féle módon lehet sorba rendezni. De az kimaradt belőle, hogy mi van, ha valamely (vagy mindegyik) szám egyforma. Tehát a számhármasok 1/6-odánál is kicsit kevesebb a lehetséges.
Persze a javascript is korlátozza a szabályt, de ennyire kukacosnak talán nem kell egy ilyen tétű (semmilyen) feladatnál lenni.
Qzole: Az a baj, hogy olyan hipotézist nem állítottál fel, hogy a szabály az, hogy a szabálynak vagy b szabálynak (vagy c-nek..) megfelelő számhármasok. (tehát hogy több féle szabály is, a szabályok uniója is megfelel.)
Szilágyi András!
A kártyás feladványra helyesen válaszolók számát az is csökkentheti, ha valaki olyan hülye, mint én: én ugyanis rosszul olvastam a kérdést, és páros helyett is pirosat olvastam. :-) Így persze már elég csak a piros kártyát megfordítani.
hvuk 2008.05.08. 12:08:36
András!
Igen, de én épp azt mutattam meg, hogy a te általad feladott feladatban még ha végig csak cáfoló kísérleteket végzek, akkor sem várható, hogy ezek cáfolják a te szabályodat, azaz nem várhatsz magas cáfolat arányt. Mert a gond az, hogy te nem azt nézed a statisztikában, hogy vajon a user cáfoló kísérletet végez-e a saját AKTUÁLIS szabályára, hanem csak azt tudod nézni, hogy cáfoló kísérletet végez-e az ÁLTALAD KITALÁLT szabályra!!!
Igen, de én épp azt mutattam meg, hogy a te általad feladott feladatban még ha végig csak cáfoló kísérleteket végzek, akkor sem várható, hogy ezek cáfolják a te szabályodat, azaz nem várhatsz magas cáfolat arányt. Mert a gond az, hogy te nem azt nézed a statisztikában, hogy vajon a user cáfoló kísérletet végez-e a saját AKTUÁLIS szabályára, hanem csak azt tudod nézni, hogy cáfoló kísérletet végez-e az ÁLTALAD KITALÁLT szabályra!!!
frank 2008.05.08. 12:17:37
szerintem is igaza van hvuknak.
ha valakinek a k,k+2,k+4 a hipotezise, akkor pl a 2,4,5 sorozat kiprobalasa cafolo kiserlet, Andras pedig megerositonek szamolta a monoton novo hipotezishez. Emiatt rossz a kiertekeles, mert egy csomo cafolatnak szant kiserletet megerositonek tekint.
ha valakinek a k,k+2,k+4 a hipotezise, akkor pl a 2,4,5 sorozat kiprobalasa cafolo kiserlet, Andras pedig megerositonek szamolta a monoton novo hipotezishez. Emiatt rossz a kiertekeles, mert egy csomo cafolatnak szant kiserletet megerositonek tekint.
hvuk 2008.05.08. 12:24:09
Mondok egy példát, mert látom nem érted, hogy pontosan mit is szeretnék mondani.
1. teória: k, k+2, k+4 vagy pedig k, 2*k, 3*k - kísérleti számhármas: 2, 10, 20 - cáfolja a saját elméletemet, de nem cáfolja a tényleges szabályt
2. teória: páros számnak kell lennie - kísérleti számhármas: 1, 5, 17 - cáfolja a saját elméletemet, de nem cáfolja a tényleges szabályt
3. teória: pozitív számnak kell lennie - kísérleti számhármas: -1, 5, 17 - cáfolja a saját elméletemet, de nem cáfolja a tényleges szabályt
4. teória: következő tagnak legalább 2x nagyobbnak kell lennie az előző abszolút értékénél - kísérleti számhármas: 3, 4, 5 - cáfolja a saját elméletemet, de nem cáfolja a tényleges szabályt
5. teória: szigorúan növekvőnek kell lennie - kísérleti számhármas: 2, 2, 5 - cáfolja a saját elméletemet és cáfolja a tényleges szabályt is
Ezután még elvégzek mondjuk 2-3 kísérletet ami cáfolja ezt (igyekezve a határeseteket is figyelembe venni), majd kijelentem, hogy ez a szabály.
Összességében MINDEN kísérletem cáfoló kísérlet volt a saját aktuális elméletemre, azaz a lelki nyugalmam megőrzése egyszer sem volt cél és nem is sikerült, míg a te kimutatásod szerint a kísérleteknek csak 40-50%-ában cáfoltam meg a szabályt.
Ha valaki pedig algoritmust keresett, nem pedig szabályt (lásd másik topicban a megjegyzéseimet), akkor lehet, hogynem 5 lépés alatt, hanem csak 10 vagy még több lépés alatt jutott el az igazi szabályhoz (már ha eljutott).
És persze van még egy dolog! Ha valaki algoritmust keres (mint például én az elején), akkor annak nem az a triviális cáfoló kísérlete, hogy olyan számhármasra nézem meg, ami nem felel meg neki, hanem az, hogy olyan számhármasra nézem meg, amira igaznak kellene lennie.
1. teória: k, k+2, k+4 vagy pedig k, 2*k, 3*k - kísérleti számhármas: 2, 10, 20 - cáfolja a saját elméletemet, de nem cáfolja a tényleges szabályt
2. teória: páros számnak kell lennie - kísérleti számhármas: 1, 5, 17 - cáfolja a saját elméletemet, de nem cáfolja a tényleges szabályt
3. teória: pozitív számnak kell lennie - kísérleti számhármas: -1, 5, 17 - cáfolja a saját elméletemet, de nem cáfolja a tényleges szabályt
4. teória: következő tagnak legalább 2x nagyobbnak kell lennie az előző abszolút értékénél - kísérleti számhármas: 3, 4, 5 - cáfolja a saját elméletemet, de nem cáfolja a tényleges szabályt
5. teória: szigorúan növekvőnek kell lennie - kísérleti számhármas: 2, 2, 5 - cáfolja a saját elméletemet és cáfolja a tényleges szabályt is
Ezután még elvégzek mondjuk 2-3 kísérletet ami cáfolja ezt (igyekezve a határeseteket is figyelembe venni), majd kijelentem, hogy ez a szabály.
Összességében MINDEN kísérletem cáfoló kísérlet volt a saját aktuális elméletemre, azaz a lelki nyugalmam megőrzése egyszer sem volt cél és nem is sikerült, míg a te kimutatásod szerint a kísérleteknek csak 40-50%-ában cáfoltam meg a szabályt.
Ha valaki pedig algoritmust keresett, nem pedig szabályt (lásd másik topicban a megjegyzéseimet), akkor lehet, hogynem 5 lépés alatt, hanem csak 10 vagy még több lépés alatt jutott el az igazi szabályhoz (már ha eljutott).
És persze van még egy dolog! Ha valaki algoritmust keres (mint például én az elején), akkor annak nem az a triviális cáfoló kísérlete, hogy olyan számhármasra nézem meg, ami nem felel meg neki, hanem az, hogy olyan számhármasra nézem meg, amira igaznak kellene lennie.
ern0 · http://linkbroker.hu/ 2008.05.08. 12:38:09
wice: a megerősítés és a cáfolat bizonyító ereje teljesen egyenértékű.
Lásd pl. Vadnay egyik Hacsek és Sajó tréfájában, amikor valamelyik közös ismerősüknek gyereke született, és Hacsek faggatja Sajót:
- Fiú?
- Nem.
- Lány?
- Ha nem fiú, akkor mégis mi lehet még?
Szóval - most ne nézzük, hogy lehet még hermafrodita, vagy más kromoszóma-rendellenességgel születő - a "fiú? nem." (cáfolat) ugyanakkora bizonyosságot hordoz, mint a "lány? igen." (megerősítés).
--
Érdemes volna belegondolni, hogy jelen feladvány esetében mi lett volna a teljesen korrekt vizsgálati módszer! Megpróbálom reprodukálni, én hogyan haladtam, és utána kiértékelni a módszeremet:
Először is "eldöntöttem", hogy milyen bonyolultságú szabályt feltételezek. Kizártam, hogy bizonyos számoknak kitüntetett szerepe van (pl. ha a középső szám 4-nél nagyobb, akkor emez a szabály, ha nem, akkor amaz). Meghatároztam, hogy olyan összefüggést nem keresek, amelyben olyan függvény szerepel, amelynek periodikus vagy lokális/globális csúcsa van. Ugyanis ebben az esetben hiába sugallna egy lineáris szabályt a kiválasztott számhármasok által adott eredmények összessége, félő, hogy kihagyok a tesztek közül olyan értéktartományt, amelyben az adott feltételezett szabály nem érvényes. Minél "rejtettebb" a lineáristól történő eltérés, annál nagyobb eséllyel kerüli el figyelmet (pl. a szabály része egy abszolút érték fv, amelynek -400000 -nél találató a csúcsa), és nincs kedvem azzal szórakozni, hogy megkeressem.
Kizártam a másodfokú vagy annál "bonyolultabb" műveleteket. Egyrészt lusta vagyok az ilyeneknek utánaszámolni, másrészt tudtam, hogy javascript számolja ki a helyességet, és bár annyira nem ismerem a javascript-et, azért sejtettem, hogy valószínűleg nem valami bonyolult dolgot csináltak meg benne. (Plusz korrekt voltam, és nem néztem meg a forrást :-) ).
Hiba: az abszolútérték függvény nem bonyolult, fentiek mégis kizártam, illetve elfeledkeztem róla, azaz nem gondoltam külön a negatív számokra. Mentségemre legyen szólva, amint a pozitív számok körében megtalálni véltem a szabályt, kiteszteltem negatív illetve vegyes számhármasokkal is.
Ezek voltak a kezdeti elhatározások, szempontok.
A minta számhármas sugallta, hogy a szomszédos számok különbsége 2, és mindegyik páros, innen indultam.
Először leteszteltem hasonló, majd egyre kevésbé hasonló számokkal, azaz szép lassan mozdultam el a kiindulástól. Leteszteltem csökkenő hármasokkal. Elég hamar kibukott, hogy a szabály: a < b< c. Innentől ezt próbáltam igazolni. Kipróbáltam olyan hármasokat, amelyeknél kizárható, hogy a számok között a kisebb-nagyobb relációnál szorosabb összefüggés van (szorzás, összeg stb.), pl. 1,2,237643287. Rájöttem, hogy negatív számokra is tesztelnem kellene, illetve vegyesre is, pl. -23, 0, 333. A szabály felismerésétől számítva kb. tucat próba után befejeztem.
Bár azt hiszem, elég módszeresen haladtam, azért tudományosnak nevezni az eljárásomat mégsem lehetne.
Enyhén szólva kissé elnagyoltam a dolgot: kísérletet sem tettem arra, hogy meghatározzam, hány próbálkozást kell tenni a bizonyossághoz, ezen belül tökéletesen kihagytam a megerősítés-cáfolat arányok szükséges arányának megállapítását.
Nem készítettem tervet, ami még nem baj, de a teszt során nem jegyeztem fel, mit zártam ki és miért, azaz eléggés slendrián voltam. Valószínűleg előfordult, hogy azonos számhármast többször beírtam.
--
Mindenesetre az adja vissza a dipikéjét, de még a második elemista bizonyítványát is, aki ellenpróba nélkül meggyőződött a szabályról, függetlenül attól, hogy kitalálta-e.
Lásd pl. Vadnay egyik Hacsek és Sajó tréfájában, amikor valamelyik közös ismerősüknek gyereke született, és Hacsek faggatja Sajót:
- Fiú?
- Nem.
- Lány?
- Ha nem fiú, akkor mégis mi lehet még?
Szóval - most ne nézzük, hogy lehet még hermafrodita, vagy más kromoszóma-rendellenességgel születő - a "fiú? nem." (cáfolat) ugyanakkora bizonyosságot hordoz, mint a "lány? igen." (megerősítés).
--
Érdemes volna belegondolni, hogy jelen feladvány esetében mi lett volna a teljesen korrekt vizsgálati módszer! Megpróbálom reprodukálni, én hogyan haladtam, és utána kiértékelni a módszeremet:
Először is "eldöntöttem", hogy milyen bonyolultságú szabályt feltételezek. Kizártam, hogy bizonyos számoknak kitüntetett szerepe van (pl. ha a középső szám 4-nél nagyobb, akkor emez a szabály, ha nem, akkor amaz). Meghatároztam, hogy olyan összefüggést nem keresek, amelyben olyan függvény szerepel, amelynek periodikus vagy lokális/globális csúcsa van. Ugyanis ebben az esetben hiába sugallna egy lineáris szabályt a kiválasztott számhármasok által adott eredmények összessége, félő, hogy kihagyok a tesztek közül olyan értéktartományt, amelyben az adott feltételezett szabály nem érvényes. Minél "rejtettebb" a lineáristól történő eltérés, annál nagyobb eséllyel kerüli el figyelmet (pl. a szabály része egy abszolút érték fv, amelynek -400000 -nél találató a csúcsa), és nincs kedvem azzal szórakozni, hogy megkeressem.
Kizártam a másodfokú vagy annál "bonyolultabb" műveleteket. Egyrészt lusta vagyok az ilyeneknek utánaszámolni, másrészt tudtam, hogy javascript számolja ki a helyességet, és bár annyira nem ismerem a javascript-et, azért sejtettem, hogy valószínűleg nem valami bonyolult dolgot csináltak meg benne. (Plusz korrekt voltam, és nem néztem meg a forrást :-) ).
Hiba: az abszolútérték függvény nem bonyolult, fentiek mégis kizártam, illetve elfeledkeztem róla, azaz nem gondoltam külön a negatív számokra. Mentségemre legyen szólva, amint a pozitív számok körében megtalálni véltem a szabályt, kiteszteltem negatív illetve vegyes számhármasokkal is.
Ezek voltak a kezdeti elhatározások, szempontok.
A minta számhármas sugallta, hogy a szomszédos számok különbsége 2, és mindegyik páros, innen indultam.
Először leteszteltem hasonló, majd egyre kevésbé hasonló számokkal, azaz szép lassan mozdultam el a kiindulástól. Leteszteltem csökkenő hármasokkal. Elég hamar kibukott, hogy a szabály: a < b< c. Innentől ezt próbáltam igazolni. Kipróbáltam olyan hármasokat, amelyeknél kizárható, hogy a számok között a kisebb-nagyobb relációnál szorosabb összefüggés van (szorzás, összeg stb.), pl. 1,2,237643287. Rájöttem, hogy negatív számokra is tesztelnem kellene, illetve vegyesre is, pl. -23, 0, 333. A szabály felismerésétől számítva kb. tucat próba után befejeztem.
Bár azt hiszem, elég módszeresen haladtam, azért tudományosnak nevezni az eljárásomat mégsem lehetne.
Enyhén szólva kissé elnagyoltam a dolgot: kísérletet sem tettem arra, hogy meghatározzam, hány próbálkozást kell tenni a bizonyossághoz, ezen belül tökéletesen kihagytam a megerősítés-cáfolat arányok szükséges arányának megállapítását.
Nem készítettem tervet, ami még nem baj, de a teszt során nem jegyeztem fel, mit zártam ki és miért, azaz eléggés slendrián voltam. Valószínűleg előfordult, hogy azonos számhármast többször beírtam.
--
Mindenesetre az adja vissza a dipikéjét, de még a második elemista bizonyítványát is, aki ellenpróba nélkül meggyőződött a szabályról, függetlenül attól, hogy kitalálta-e.
Archenemy 2008.05.08. 12:42:26
Abban az 50+ jól szereplő százalékban kíváncsi vagyok, hányan olvasták (pl) a tojást tojó kutyát, ahol ez a feladat is szerepelt :p (meg a korábban lévő kártyafordítgatós is).
wice 2008.05.08. 12:47:39
biztos vagyok benne, h Andras csak szemleltetni akarja a confirmation biast azzazl, h bar tobben is elmagyaraztak neki, miert nem lehet pusztan az egyes emberek osszes pozitiv es negativ probalkozasainak aranyabol confirmation biasra kovetkeztetni, megis ragaszkodik hozza, h marpedig lehet.
aki kivancsi, h _valojaban_ hogyan bizonyitotta a confirmation bias letezesen wason, at nezze meg itt: en.wikipedia.org/wiki/Confirmation_bias#Overview
a lenyeg: "While the actual rule was simply “any ascending sequence”, the subjects seemed to have a great deal of difficulty in inducing it, often announcing rules that were far more complex than the correct rule. The subjects seemed to test only “positive” examples -- triples that subjects believed would conform to their rule and confirm their hypothesis. What they did not do was attempt to challenge or falsify their hypotheses by testing triples that they believed would not conform to their rule."
tehat (amennyiben jol ertem az osszefoglalast) azt is nezte, h a tesztalanyok milyen hipoteziseket allitottak fel, es a felallitas utan azokat hanyszor teszteltek varhatoan negativ es varhatoan pozitiv eredmenyt ado ertekekkel, es itt derult ki, h a legtobben a kezdeti hipotezisuket cafolni kepes szamharmasokkal _nem_is_probalkoztak_, es ez a lenyeg.
megjegyeznem, h ha nekem pl az a hipotezisem, h a szabaly k, k+2, k+4, akkor lehet, h csinalok pl harom probat, ami illeszkedik erre (h megnezzem, a hipotezisemnek megfelelo mas szamharmasok egyaltalan jok-e), aztan egy olyat, ami nem illeszkedik, ekkor eldobom a hipotezist, es maris ott vagyunk, h 3 az 1-hez a megerosito probalkozasok szama erre a hipotezisre, mikozben egyszeruen arrol van szo, h egyetlen ellenpelda is cafolja a hipotezist, tehat onnantol felesleges ezzel a hipotezissel tovabbmenni. ebbol is latszik, h csak azok az emberek erdekesek, akik _egyaltalan_ nem probalnak ki a hipotezisuket cafolni kepes mintat. ha az ilyen emberekbol sok van, akkor levonhatjuk a kovetkeztetest, h az emberek jelentos resze hajlik a confirmation biasra.
aki kivancsi, h _valojaban_ hogyan bizonyitotta a confirmation bias letezesen wason, at nezze meg itt: en.wikipedia.org/wiki/Confirmation_bias#Overview
a lenyeg: "While the actual rule was simply “any ascending sequence”, the subjects seemed to have a great deal of difficulty in inducing it, often announcing rules that were far more complex than the correct rule. The subjects seemed to test only “positive” examples -- triples that subjects believed would conform to their rule and confirm their hypothesis. What they did not do was attempt to challenge or falsify their hypotheses by testing triples that they believed would not conform to their rule."
tehat (amennyiben jol ertem az osszefoglalast) azt is nezte, h a tesztalanyok milyen hipoteziseket allitottak fel, es a felallitas utan azokat hanyszor teszteltek varhatoan negativ es varhatoan pozitiv eredmenyt ado ertekekkel, es itt derult ki, h a legtobben a kezdeti hipotezisuket cafolni kepes szamharmasokkal _nem_is_probalkoztak_, es ez a lenyeg.
megjegyeznem, h ha nekem pl az a hipotezisem, h a szabaly k, k+2, k+4, akkor lehet, h csinalok pl harom probat, ami illeszkedik erre (h megnezzem, a hipotezisemnek megfelelo mas szamharmasok egyaltalan jok-e), aztan egy olyat, ami nem illeszkedik, ekkor eldobom a hipotezist, es maris ott vagyunk, h 3 az 1-hez a megerosito probalkozasok szama erre a hipotezisre, mikozben egyszeruen arrol van szo, h egyetlen ellenpelda is cafolja a hipotezist, tehat onnantol felesleges ezzel a hipotezissel tovabbmenni. ebbol is latszik, h csak azok az emberek erdekesek, akik _egyaltalan_ nem probalnak ki a hipotezisuket cafolni kepes mintat. ha az ilyen emberekbol sok van, akkor levonhatjuk a kovetkeztetest, h az emberek jelentos resze hajlik a confirmation biasra.
ern0 · http://linkbroker.hu/ 2008.05.08. 12:48:44
Jól beszéltek, valóban két fázisa van a próbálgatásnak:
1. Szabály kitalálása.
2. Feltételezett szabály igazolása.
Alapesetben a (helyes) szabály kitalálása a választóvonal, de nem egyértelmű. Sőt, ha a 2. pont megbukik, akkor újabb két fázis, amibe viszont már bezavar az, hogy nem üres lapról indulunk.
A 2. pontba, azaz a szabály igazolásába is bezavarnak az 1. pontban kapott válaszok, miszerint azokat is fel lehet használni igazolásként, azaz "áthozni" a 2. pont alá.
A kísérlet igazi korrekt kielemzése az lenne, hogy
a) megkérdezni (pontos) vagy megállapítani (becslés), mikortól jött rá a szabályra a válaszoló
b) az ez utáni próbákat besorolni a "2. igazolás" kategóriába
c) az ez előttieket alapból az "1. keresés" kategóriába sorolni, majd egyesével megvizsgálniőket, és amelyik próbálkozás "hiányzik" a felismerés utániakból, azokat áthozni a "2." kategóriába.
Sajnos időigényes, és nem is egzakt, mert pl. ott vagyok én, aki figyelmetlenség-feledékenység miatt többször is elvégezte ugyanazt a próbát.
1. Szabály kitalálása.
2. Feltételezett szabály igazolása.
Alapesetben a (helyes) szabály kitalálása a választóvonal, de nem egyértelmű. Sőt, ha a 2. pont megbukik, akkor újabb két fázis, amibe viszont már bezavar az, hogy nem üres lapról indulunk.
A 2. pontba, azaz a szabály igazolásába is bezavarnak az 1. pontban kapott válaszok, miszerint azokat is fel lehet használni igazolásként, azaz "áthozni" a 2. pont alá.
A kísérlet igazi korrekt kielemzése az lenne, hogy
a) megkérdezni (pontos) vagy megállapítani (becslés), mikortól jött rá a szabályra a válaszoló
b) az ez utáni próbákat besorolni a "2. igazolás" kategóriába
c) az ez előttieket alapból az "1. keresés" kategóriába sorolni, majd egyesével megvizsgálniőket, és amelyik próbálkozás "hiányzik" a felismerés utániakból, azokat áthozni a "2." kategóriába.
Sajnos időigényes, és nem is egzakt, mert pl. ott vagyok én, aki figyelmetlenség-feledékenység miatt többször is elvégezte ugyanazt a próbát.
ern0 · http://linkbroker.hu/ 2008.05.08. 12:51:55
wice: én még kíváncsi lennék arra a számra, amit az első hosszú kommentemben próbáltam feszegetni, hogy valójában hány próbálgatásra lehet azt mondani, hogy biztos lehetek a dolgomban?
Mondjuk: 8 próba, legalább 3 negatív eredménnyel.
És azoknak az arányát szeretném tudni, akik ezt nem ugrották át.
Mondjuk: 8 próba, legalább 3 negatív eredménnyel.
És azoknak az arányát szeretném tudni, akik ezt nem ugrották át.
Before · http://azbeszt.blog.hu 2008.05.08. 12:54:32
Nagyon tetsztett a teszt, és az azt követő elemzés is, köszönöm!
A megoldás során - rám sajnos jellemzően - majdnem megszivattam magam, annyira, hogy már írni is kezdtem a választ, miszerint "Hát, mázlim lehet, mert már elsőre rájöttem..." de szerencsére szinte rögtön leesett, hogy mekkora barom vagyok. Az ember ugye mindig variál, okosnak gondolja magát és minden mögött keres valami ravaszságot. Nekem ránézésre az ugrott be róla, hogy ez egy speciális fibonacci-sorozat, ami 2-vel és 4-gyel kezdődik. Be is írtam a folytatást és hohóó, helyes lett. :D
Ezután írtam be ugye a "megoldást", első lelkesedésemre, de még elküldés előtt rájöttem, hogy szabályt szűkítek, márpedig nyilván a legtágabb szabályszerűséget kell megkeresni. Először próbáltam a páros számokat, aztán a sima növekményt és mindkettő stimmelt. Utána kellett két elutasító eredmény, hogy kizárjam "nagyobb, vagy egyenlő", illetve a "bármilyen szám" megoldásokat, ezeket már tudatosan próbáltam. Kipróbáltam egy extrém nagy eltérést is, hogy biztos lehessek benne, nincs valami mögöttes, nem egykönnyen észrevehető szabály, de az is átment, szóval elküldtem a helyes megfejtést.
Két nap múlva jöttem rá, hogy hibáztam, egy nagyon fontos dolgot nem ellenőriztem: a negatív számokat. Szerintem egyébként ez lehetett volna az igazi csavar a feladatban, hiszen a szabály lehetett volna az abszolútértékre vonatkozó növekedés is, de szerencsére végül is nyert az eredetileg beküldött megoldásom, mivel az a negatív számokra is megfelelően működött.
A megoldás során - rám sajnos jellemzően - majdnem megszivattam magam, annyira, hogy már írni is kezdtem a választ, miszerint "Hát, mázlim lehet, mert már elsőre rájöttem..." de szerencsére szinte rögtön leesett, hogy mekkora barom vagyok. Az ember ugye mindig variál, okosnak gondolja magát és minden mögött keres valami ravaszságot. Nekem ránézésre az ugrott be róla, hogy ez egy speciális fibonacci-sorozat, ami 2-vel és 4-gyel kezdődik. Be is írtam a folytatást és hohóó, helyes lett. :D
Ezután írtam be ugye a "megoldást", első lelkesedésemre, de még elküldés előtt rájöttem, hogy szabályt szűkítek, márpedig nyilván a legtágabb szabályszerűséget kell megkeresni. Először próbáltam a páros számokat, aztán a sima növekményt és mindkettő stimmelt. Utána kellett két elutasító eredmény, hogy kizárjam "nagyobb, vagy egyenlő", illetve a "bármilyen szám" megoldásokat, ezeket már tudatosan próbáltam. Kipróbáltam egy extrém nagy eltérést is, hogy biztos lehessek benne, nincs valami mögöttes, nem egykönnyen észrevehető szabály, de az is átment, szóval elküldtem a helyes megfejtést.
Két nap múlva jöttem rá, hogy hibáztam, egy nagyon fontos dolgot nem ellenőriztem: a negatív számokat. Szerintem egyébként ez lehetett volna az igazi csavar a feladatban, hiszen a szabály lehetett volna az abszolútértékre vonatkozó növekedés is, de szerencsére végül is nyert az eredetileg beküldött megoldásom, mivel az a negatív számokra is megfelelően működött.
Szilágyi András 2008.05.08. 13:12:33
Azt, hogy ki mikor milyen számhármast milyen szándékkal tesztelt, nem tudhatjuk. Amit tudunk, az az, hogy a végső megoldáshoz összesen hány megerősítésre és hány cáfolatra volt szükségük a delikvenseknek. A hipotézis közbenső fejlődését nem tudjuk követni.
A kipróbált számhármasokat nem rögzítettük és az ip-címeket sem.
A kipróbált számhármasokat nem rögzítettük és az ip-címeket sem.
Rufus78 (talán vak vagyok, de nem hülye) 2008.05.08. 13:23:23
A szabály annyira általános, hogy én még törtekre is leellenőriztem. Hiszen sehol nem szerepelt, hogy csak egész számokra vonatkozik!
wice 2008.05.08. 13:45:10
Niwrok: de, ez konkretan szerepelt: "Csak egész számokat írj be, és a három számot szóközzel válaszd el egymástól!"
hvuk 2008.05.08. 13:56:00
András!
Én értem, hogy ezeket az adatokat őriztétek meg (illetve küldtétek el a szervernek), csak mindösszesen arra szeretnék rávilágítani, hogy - legalábbis wice által beírtak alapján -:
1. ez nem az eredeti kísérlet ismétlése volt (hiszen ott nyomon követték, hogy a delikvens épp milyen szabályt próbál ki)
2. ez a kísérlet így nem is igazán volt alkalmas arra, hogy kimutassa a "confirmation bias"-t.
Ha valaki megtalálta a helyes szabályt, akkor gyakorlatilag érdektelen és semmitmondó azaz információ, hogy a próbálkozásaiból mennyi volt cáfolat és mennyi alátámasztás.
Ettől persze még a kísérlet nagyon érdekes és szórakoztató volt, továbbá az általad közölt elemzésben is nagyon elgondolkodtató adatok volt. Jó lenne még sok ilyen kísérletet látni! Úgyhogy hajrá Mari néni! :)
Én értem, hogy ezeket az adatokat őriztétek meg (illetve küldtétek el a szervernek), csak mindösszesen arra szeretnék rávilágítani, hogy - legalábbis wice által beírtak alapján -:
1. ez nem az eredeti kísérlet ismétlése volt (hiszen ott nyomon követték, hogy a delikvens épp milyen szabályt próbál ki)
2. ez a kísérlet így nem is igazán volt alkalmas arra, hogy kimutassa a "confirmation bias"-t.
Ha valaki megtalálta a helyes szabályt, akkor gyakorlatilag érdektelen és semmitmondó azaz információ, hogy a próbálkozásaiból mennyi volt cáfolat és mennyi alátámasztás.
Ettől persze még a kísérlet nagyon érdekes és szórakoztató volt, továbbá az általad közölt elemzésben is nagyon elgondolkodtató adatok volt. Jó lenne még sok ilyen kísérletet látni! Úgyhogy hajrá Mari néni! :)
My-cream 2008.05.08. 13:58:17
Nálam nem működött, úgyhogy nem tudtam próbálkozni sem.
Rányomok, hogy ellenőriz, de nem történik semmi...
Rányomok, hogy ellenőriz, de nem történik semmi...
wice 2008.05.08. 13:59:34
ern0: ahogy a termeszettudomanyos modellek kialakitasanal es tesztelesenel, itt sincs veges szamu probalkozas, ami utan mar _biztos_lehetsz_ a hipotezis helyessegeben, hiszen akarmennyit probalkozol, mindig lehetnek olyan ertekek, amik kivetelek. persze jelen esetben sokat segit, h feltetelezhetjuk, h nem lesz mondjuk a 12341, 3156643, 3423 kivetel, csak a kibaszas kedveert, hanem egy megtalalhato szabalyrol van szo.
hvuk 2008.05.08. 14:03:25
ern0!
A megerősítés és a cáfolat bizonyító ereje azonos (már ha valamelyik lehetséges), viszont kivitelezési nehézségük merőben különböző lehet. Adott esetben könnyebb cáfolni mint bizonyítani.
Feltetted a kérdést, hogy mennyi próbálgatás kell a bizonyításhoz. Nos, annyi ahány számpár lehetséges. Mindre ki kell próbálni. Szopás, mi? :)
A megerősítés és a cáfolat bizonyító ereje azonos (már ha valamelyik lehetséges), viszont kivitelezési nehézségük merőben különböző lehet. Adott esetben könnyebb cáfolni mint bizonyítani.
Feltetted a kérdést, hogy mennyi próbálgatás kell a bizonyításhoz. Nos, annyi ahány számpár lehetséges. Mindre ki kell próbálni. Szopás, mi? :)
statisztika 2008.05.08. 14:17:30
Nem olvastam vegig de móduszt nem talaltam sehol, ami szerintem sokkal reprezentativabb lenne mint az atlag, hiszen az atlag (mint ahogy latszik is) nagyon erzekeny a szelsoseges adatokra, mig a modusz nem.
Lehet egyedi adatokbol, vagy osztalykozos gyakorisagi sorbol is megallapitani,
hu.wikipedia.org/wiki/M%C3%B3dusz
Ez a wiki szocikk eleg csonk, javaslom hunyadi-vita statisztika kozgazdaszoknak cimu konyv attanulmanyozasat (hosszu de alapos es ertheto)
Lehet egyedi adatokbol, vagy osztalykozos gyakorisagi sorbol is megallapitani,
hu.wikipedia.org/wiki/M%C3%B3dusz
Ez a wiki szocikk eleg csonk, javaslom hunyadi-vita statisztika kozgazdaszoknak cimu konyv attanulmanyozasat (hosszu de alapos es ertheto)
wice 2008.05.08. 14:20:46
itt egy hasonlo teszt, ahol nyomon kovetheted azt is, milyen hipotezist tesztelsz eppen:
hosted.xamai.ca/confbias/index.php
tobbfele szabaly is van, ugyhogy erdemes tobbszor is nekifutni. sajnos azt nem elemzi ki, h mennyire vagy hajlamos a biasra, de kis erofeszitessel barki kielemezheti magat.
hosted.xamai.ca/confbias/index.php
tobbfele szabaly is van, ugyhogy erdemes tobbszor is nekifutni. sajnos azt nem elemzi ki, h mennyire vagy hajlamos a biasra, de kis erofeszitessel barki kielemezheti magat.
Szilágyi András 2008.05.08. 14:25:46
hvuk: valóban, ez nem volt pontos reprodukciója a Wason-kísérletnek, csak az alapgondolatot használtam fel. Wason összesen 29 embert tesztelt, minden számhármashoz indoklást kért, azonkívül ha a delikvens által megállapított szabály hibás volt, akkor tovább próbálkozhatott, és ezt ismételgették, amíg csak rá nem untak. Az én kísérletemben csaknem 10000 számhármast próbált ki a 750 résztvevő, bele is hülyültem volna, ha végig kellett volna olvasni az indoklást mindegyikhez, meg válaszolgatni az embereknek, hogy jó-e a szabályuk. Viszont az én kísérletemnek a magas résztvevőszám mindenképpen előnye a Wasonéhez képest. Természetesen nem tudományos kísérletnek szántam, nem akarom publikálni, csak illusztrációként szolgál.
Ettől függetlenül mint már írtam, úgy gondolom, hogy a megerősítések és a cáfolatok (vagy nevezhetjük pozitív és negatív próbáknak is őket) megfigyelt aránya (mindössze 23% cáfolat) alapvetően a megerősítési torzításnak tudható be.
A Wason-cikk itt van: psy.ucsd.edu/~mckenzie/Wason1960QJEP.pdf
Ettől függetlenül mint már írtam, úgy gondolom, hogy a megerősítések és a cáfolatok (vagy nevezhetjük pozitív és negatív próbáknak is őket) megfigyelt aránya (mindössze 23% cáfolat) alapvetően a megerősítési torzításnak tudható be.
A Wason-cikk itt van: psy.ucsd.edu/~mckenzie/Wason1960QJEP.pdf
Dekatlon 2008.05.08. 14:34:29
Érdekes lenne egy 6-4-2 kísérlet is.
Gyanítom, hogy a beépített véletlenszám (teszteset) generátorunk hajlamosabb növekvő sorrendet (tehát itt: jó teszteset) generálni, mint csökkenőt.
Ha a 6-4-2 teszt hasonló jó/rossz megerősítés arányt hoz, akkor tévedek.
Gyanítom, hogy a beépített véletlenszám (teszteset) generátorunk hajlamosabb növekvő sorrendet (tehát itt: jó teszteset) generálni, mint csökkenőt.
Ha a 6-4-2 teszt hasonló jó/rossz megerősítés arányt hoz, akkor tévedek.
Szilágyi András 2008.05.08. 14:42:05
statisztika: elég fura eredményeket adna a módusz használata, pl. a legtöbb ember 3 számhármast tesztelt :)
Mediánokat néztem, azok nem tértek el lényegesen az átlagoktól.
Mediánokat néztem, azok nem tértek el lényegesen az átlagoktól.
biziclop 2008.05.08. 14:42:50
"Az azonban sokatmondó, hogy a jelen feladat esetében az összes létező számhármasnak csupán mintegy 1/6-a felel meg a tényleges szabálynak. "
Amennyiben az osszes letezo egesz/termeszetes szamharmasrol beszelunk, akkor leginkabb pontosan ugyanannyi jo van, mint nem jo.
Az egesz szamok egy tetszoleges, elegendoen nagy veges intervalluman valoban 1/6.
De ez csak kekeckedes. :)
Viszont az mar nem, hogy ha valaki kettonel kevesebb cafolatot kapott, de megis helyes valaszt adott, az alapvetoen kulonbozik attol, aki legalabb ket cafolat mellett adott helyes valaszt. Ezeknek az aranyarol mit tudtok mondani?
A masik erdekes, bar kisse ortogonalis kerdes, hogy miert van az, hogy a kiserletek 70%-aban novekvo szamsort adtunk meg. (En 9-bol 7-szer.). Befolyasolja ezt az, hogy hogy inditod el az egeszet? Ha mondjuk ugy indult volna a kiserlet, hogy "Itt a 6 4 2 sorozat, ami nem felel meg", valtozott volna az eredmeny? Sot, ha minden ugyanugy megy, csak szimplan megcsereled a megfelelt/nem felelt meg valaszokat, akkor valtozik az eredmeny?
Amennyiben az osszes letezo egesz/termeszetes szamharmasrol beszelunk, akkor leginkabb pontosan ugyanannyi jo van, mint nem jo.
Az egesz szamok egy tetszoleges, elegendoen nagy veges intervalluman valoban 1/6.
De ez csak kekeckedes. :)
Viszont az mar nem, hogy ha valaki kettonel kevesebb cafolatot kapott, de megis helyes valaszt adott, az alapvetoen kulonbozik attol, aki legalabb ket cafolat mellett adott helyes valaszt. Ezeknek az aranyarol mit tudtok mondani?
A masik erdekes, bar kisse ortogonalis kerdes, hogy miert van az, hogy a kiserletek 70%-aban novekvo szamsort adtunk meg. (En 9-bol 7-szer.). Befolyasolja ezt az, hogy hogy inditod el az egeszet? Ha mondjuk ugy indult volna a kiserlet, hogy "Itt a 6 4 2 sorozat, ami nem felel meg", valtozott volna az eredmeny? Sot, ha minden ugyanugy megy, csak szimplan megcsereled a megfelelt/nem felelt meg valaszokat, akkor valtozik az eredmeny?
wice 2008.05.08. 14:42:54
Andras: "Ettől függetlenül mint már írtam, úgy gondolom, hogy a megerősítések és a cáfolatok (vagy nevezhetjük pozitív és negatív próbáknak is őket) megfigyelt aránya (mindössze 23% cáfolat) alapvetően a megerősítési torzításnak tudható be."
mint emlitettem, ez reszedrol egy igen eros confirmation bias :) egyszeruen figyelmen kivul hagyod (tobbszori magyarazat ellenere is), h a brute force modszernel (minden lehetseges szamharmast kiprobalunk pl -1000 es 1000 kozotti ertekekkel) van gyorsabb modszer is a szabaly megtalalasara, ez a modszer azonban egyszeruen implikalja, h tobb lesz a megerosites, mint a cafolat.
mint emlitettem, ez reszedrol egy igen eros confirmation bias :) egyszeruen figyelmen kivul hagyod (tobbszori magyarazat ellenere is), h a brute force modszernel (minden lehetseges szamharmast kiprobalunk pl -1000 es 1000 kozotti ertekekkel) van gyorsabb modszer is a szabaly megtalalasara, ez a modszer azonban egyszeruen implikalja, h tobb lesz a megerosites, mint a cafolat.
Szilágyi András 2008.05.08. 14:50:51
wice: nem, szerintem nem implikálja, alapvetően akármilyen szabályt vizsgálunk, kiegyenlítettnek kell lennie a cáfolatok és megerősítések számának, ha az egyik irányba eltolódás van, az bias-t jelent.
dekatlon 2008.05.08. 14:52:46
biziclop:
ilyesmit kérdezek magam is 2 hozzászólással korábban :)
ilyesmit kérdezek magam is 2 hozzászólással korábban :)
dekatlon 2008.05.08. 14:56:48
Szilágyi András:
Ne mond már, hogy a vizsgált szabálytól független a cáfolatok és megerősítések száma!
Ime egy szabály: minden szám jó, kivéve a 42-42-42.
Hozz nekem erre nem bias megoldást!
Ne mond már, hogy a vizsgált szabálytól független a cáfolatok és megerősítések száma!
Ime egy szabály: minden szám jó, kivéve a 42-42-42.
Hozz nekem erre nem bias megoldást!
biziclop 2008.05.08. 15:01:14
dekatlon: Bocs, amikor elkezdftem irni a hozzaszolast, meg nem volt ott. De akkor mar ketten kerdezzuk. :)
Viszont ha mar itt tartunk.
dilbert.com/dyn/str_strip/000000000/00000000/0000000/000000/00000/5000/500/5652/5652.strip.print.gif
Viszont ha mar itt tartunk.
dilbert.com/dyn/str_strip/000000000/00000000/0000000/000000/00000/5000/500/5652/5652.strip.print.gif
Rorschach · http://lowfast.blog.hu 2008.05.08. 15:02:49
En a kartyasra es erre is a helyes megoldast kuldtem , zseni vagyok-e
statisztika 2008.05.08. 15:03:57
"Szilágyi András 2008.05.08. 14:42:05
statisztika: elég fura eredményeket adna a módusz használata, pl. a legtöbb ember 3 számhármast tesztelt :)
Mediánokat néztem, azok nem tértek el lényegesen az átlagoktól. "
Igen, es ez szerintem kozelebb van a lenyeghez mint az hogy atlagosan 13,7 szamharmast teszteltek az emberek.
Kit erdekel az atlag, a leggyakorib elofordulas (osztalykozos gyaksorbol) ertelmesebb adat ebben a tesztben, szerintem.
De nem vagyok szociologus, a statisztikat meg most tanulom :)
statisztika: elég fura eredményeket adna a módusz használata, pl. a legtöbb ember 3 számhármast tesztelt :)
Mediánokat néztem, azok nem tértek el lényegesen az átlagoktól. "
Igen, es ez szerintem kozelebb van a lenyeghez mint az hogy atlagosan 13,7 szamharmast teszteltek az emberek.
Kit erdekel az atlag, a leggyakorib elofordulas (osztalykozos gyaksorbol) ertelmesebb adat ebben a tesztben, szerintem.
De nem vagyok szociologus, a statisztikat meg most tanulom :)
hvuk 2008.05.08. 15:08:19
András!
"Ettől függetlenül mint már írtam, úgy gondolom, hogy a megerősítések és a cáfolatok (vagy nevezhetjük pozitív és negatív próbáknak is őket) megfigyelt aránya (mindössze 23% cáfolat) alapvetően a megerősítési torzításnak tudható be.
...
nem, szerintem nem implikálja, alapvetően akármilyen szabályt vizsgálunk, kiegyenlítettnek kell lennie a cáfolatok és megerősítések számának, ha az egyik irányba eltolódás van, az bias-t jelent."
Ez így biztos nem igaz. Két triviális ellenpélda:
1. szabály: Csak a 2-4-6 számsorozat jó. Ekkor nyilván a cáfoló kísérletek száma lényegesen nagyobb lesz mint a megerősítőké.
2. szabály: tetszőleges számhármas jó. Ekkor nyilván egyetlen cáfoló kísérlet sem lesz.
Ez két szélsőséges példa és az összes többi eset nyilván e kettő közé esne. Na, most az a kérdés, hogy ez a kérdés, hogy ez a speciális szabály és kiindul 3-as eesetén mekkora ez a százalék akkor, ha valaki egyáltalán nincs hatása alatt a confirmation bias-nak.
Szerintem elég sok érv szól amellett, hogy itt elég sok olyan szabályt kell tesztelni a sikeres szabály megtalálása előtt, ahol a triviálisan alkalmazott számhármasok esetén nem cáfolódik az igazi szabály. Erre egy szerintem eléggé reális példát is írtam fent.
Más kérdés, hogy ennek vajon ebben az esetben mi az oka. Mivel a legtöbb ilyen feladatban nö9vekvő sorozattal találkozunk, így szinte automatikusan olyanokat is írunk be számhármasokként. Ha az x, 2*x, 3*x szabályt akarom tesztelni egy cűfoló példával, akkor azt triviálisan valami ilyesmivel fogom tesztelni: 1-5-7 vagy 1-2-3, nem pedig olyannal, hogy 2-1-4. De még egyszer: ennek nincs köze a biashoz.
Érdekes lett volna a 6-4-2 számhármast feladni, ahol a szabálya szigorúan monoton csökkenés. Garantáltan egészen más eredményt kaptál volna, szerintem lényegesen magasabb lett volna a cáfoló kísérletek aránya.
Sőt, a legjobb kísérlet az, hogy a példa számhármas 2-4-6, de ez NEM felel meg a szabálynak, ami mellesleg a szig. mon. csökkenés. Garantáltan nagyon magas lenne a cáfoló kísérletek száma (szerintem bőven 70% feletti lenne!). Amiből nyilván azt a következtetést lehetne levonni, hogy a magyarok negatív confirmation bias-t mutatnak és ezért is van nyilván olyan sok magyar Nobel-díjas. :))))
"Ettől függetlenül mint már írtam, úgy gondolom, hogy a megerősítések és a cáfolatok (vagy nevezhetjük pozitív és negatív próbáknak is őket) megfigyelt aránya (mindössze 23% cáfolat) alapvetően a megerősítési torzításnak tudható be.
...
nem, szerintem nem implikálja, alapvetően akármilyen szabályt vizsgálunk, kiegyenlítettnek kell lennie a cáfolatok és megerősítések számának, ha az egyik irányba eltolódás van, az bias-t jelent."
Ez így biztos nem igaz. Két triviális ellenpélda:
1. szabály: Csak a 2-4-6 számsorozat jó. Ekkor nyilván a cáfoló kísérletek száma lényegesen nagyobb lesz mint a megerősítőké.
2. szabály: tetszőleges számhármas jó. Ekkor nyilván egyetlen cáfoló kísérlet sem lesz.
Ez két szélsőséges példa és az összes többi eset nyilván e kettő közé esne. Na, most az a kérdés, hogy ez a kérdés, hogy ez a speciális szabály és kiindul 3-as eesetén mekkora ez a százalék akkor, ha valaki egyáltalán nincs hatása alatt a confirmation bias-nak.
Szerintem elég sok érv szól amellett, hogy itt elég sok olyan szabályt kell tesztelni a sikeres szabály megtalálása előtt, ahol a triviálisan alkalmazott számhármasok esetén nem cáfolódik az igazi szabály. Erre egy szerintem eléggé reális példát is írtam fent.
Más kérdés, hogy ennek vajon ebben az esetben mi az oka. Mivel a legtöbb ilyen feladatban nö9vekvő sorozattal találkozunk, így szinte automatikusan olyanokat is írunk be számhármasokként. Ha az x, 2*x, 3*x szabályt akarom tesztelni egy cűfoló példával, akkor azt triviálisan valami ilyesmivel fogom tesztelni: 1-5-7 vagy 1-2-3, nem pedig olyannal, hogy 2-1-4. De még egyszer: ennek nincs köze a biashoz.
Érdekes lett volna a 6-4-2 számhármast feladni, ahol a szabálya szigorúan monoton csökkenés. Garantáltan egészen más eredményt kaptál volna, szerintem lényegesen magasabb lett volna a cáfoló kísérletek aránya.
Sőt, a legjobb kísérlet az, hogy a példa számhármas 2-4-6, de ez NEM felel meg a szabálynak, ami mellesleg a szig. mon. csökkenés. Garantáltan nagyon magas lenne a cáfoló kísérletek száma (szerintem bőven 70% feletti lenne!). Amiből nyilván azt a következtetést lehetne levonni, hogy a magyarok negatív confirmation bias-t mutatnak és ezért is van nyilván olyan sok magyar Nobel-díjas. :))))
hvuk 2008.05.08. 15:17:44
Kitaláltam két eléggé hasonló kísérletet, ahol rossz/jó számhármasok száma kb. azonos (nyilván véges egész intervallumon).
Legyen a példa mindkét esetben a 2 - 4 - 6 számhármas.
1. szabály: A számhármasban maximum 1 páros szám lehet.
2. szabály: a sorozatnak szigorúan csökkenőnek kell lennie.
A példa számhármas nyilván egyik szabálynak sem felel meg. Szerintem a 2. esetben lényegesen több cáfoló kísérlet fog történni, mint az elsőben, pedig elvileg ugyanannyinak kellene.
Legyen a példa mindkét esetben a 2 - 4 - 6 számhármas.
1. szabály: A számhármasban maximum 1 páros szám lehet.
2. szabály: a sorozatnak szigorúan csökkenőnek kell lennie.
A példa számhármas nyilván egyik szabálynak sem felel meg. Szerintem a 2. esetben lényegesen több cáfoló kísérlet fog történni, mint az elsőben, pedig elvileg ugyanannyinak kellene.
Dekatlon 2008.05.08. 15:19:21
hvuk:
- Andrásra bias elméletére ellenpélda:
3 kommenttel a tied előtt. Szóval ebben 2-en vagyunk.
- Negatív számsor: kicst korábban
biziclop meg én. Ebben már 3-an :)
Miért a write only üzemmód?
- Andrásra bias elméletére ellenpélda:
3 kommenttel a tied előtt. Szóval ebben 2-en vagyunk.
- Negatív számsor: kicst korábban
biziclop meg én. Ebben már 3-an :)
Miért a write only üzemmód?
wice 2008.05.08. 15:19:40
hvuk: amirol Andras beszel, az nem az, h ha tobb a megerosites, mint a cafolat, akkor bias van, hanem az, h ha a veletlenszeru probalgatas varhato megerosites/cafolat aranyanal lenyegesen nagyobb a tenyleges arany, akkor az a bias miatt van. ez persze tevedes, de a peldaid ezt nem cafoljak.
dekatlon 2008.05.08. 15:25:11
wice:
erről te beszélsz, és ez szeritnem is védhető álláspont, viszon András nem egészen ezt mondta, ő akármilyen szabályról és kiegyenlítettségről beszél. Ebbe kötöttünk bele, immár ketten :)
Szilágyi András 2008.05.08. 14:50:51 wice: nem, szerintem nem implikálja, alapvetően akármilyen szabályt vizsgálunk, kiegyenlítettnek kell lennie a cáfolatok és megerősítések számának, ha az egyik irányba eltolódás van, az bias-t jelent.
erről te beszélsz, és ez szeritnem is védhető álláspont, viszon András nem egészen ezt mondta, ő akármilyen szabályról és kiegyenlítettségről beszél. Ebbe kötöttünk bele, immár ketten :)
Szilágyi András 2008.05.08. 14:50:51 wice: nem, szerintem nem implikálja, alapvetően akármilyen szabályt vizsgálunk, kiegyenlítettnek kell lennie a cáfolatok és megerősítések számának, ha az egyik irányba eltolódás van, az bias-t jelent.
wice 2008.05.08. 15:31:09
dekatlon: jaja, de szerintem itt arra gondolt, h pl ebben az esetben 1/6-nak kell lennie, csak rosszul fogalmazott, legalabbis annak alapjan, amit a cikkben irt. persze tevedhetek, de ha telleg arra gondol, h kb 50-50%-nak kellene lennie a megerositesek es cafolatok aranyanak, akkor meg annal is rosszabb a helyzet, mint gondoltam :)
hvuk 2008.05.08. 15:33:41
Dekatlon:
Mert közben dolgom volt és volt olyan hozzászólás ami több mint egy óra alatt született meg. Közben meg ti kommenteltetek.
Mert közben dolgom volt és volt olyan hozzászólás ami több mint egy óra alatt született meg. Közben meg ti kommenteltetek.
hvuk 2008.05.08. 15:37:29
Wice!
"amirol Andras beszel, az nem az, h ha tobb a megerosites, mint a cafolat, akkor bias van, hanem az, h ha a veletlenszeru probalgatas varhato megerosites/cafolat aranyanal lenyegesen nagyobb a tenyleges arany, akkor az a bias miatt van. ez persze tevedes, de a peldaid ezt nem cafoljak."
De, a példám pont erre cáfolat. Mind a maximum 1 páros szám lehet benne, mind pedig a szig. mon. csökkenő sorozat esélye kb. ugyanannyi egy véges intervallumban. Mégis a második esetben szerintem lényegesen több cáfolató számhármas lesz.
"amirol Andras beszel, az nem az, h ha tobb a megerosites, mint a cafolat, akkor bias van, hanem az, h ha a veletlenszeru probalgatas varhato megerosites/cafolat aranyanal lenyegesen nagyobb a tenyleges arany, akkor az a bias miatt van. ez persze tevedes, de a peldaid ezt nem cafoljak."
De, a példám pont erre cáfolat. Mind a maximum 1 páros szám lehet benne, mind pedig a szig. mon. csökkenő sorozat esélye kb. ugyanannyi egy véges intervallumban. Mégis a második esetben szerintem lényegesen több cáfolató számhármas lesz.
wice 2008.05.08. 15:42:35
hvuk: bocs, en meg az eggyel korabbi hozzaszolasodra reagaltam, nem vartam, h ilyen gyorsan ujabbat irsz :)
Szilágyi András 2008.05.08. 15:56:13
hvuk: abszolút nem értem a példádat, a feladat lényege, hogy az elsőként megadott számhármas megfelel a szabálynak, tehát a példádban a 6-4-2-vel kéne indítani, és szerintem ebből mindenkinek azonnal bekattanna, hogy csökkenő sorozatokat kell megadni.
Ha kezdő számhármasnak a szabálynak nem megfelelő példát adsz meg, az egy egészen másik játék, ilyennel ne érvelj.
Amúgy meg el nem végzett kísérletek feltételezett eredményével érvelni elég súlytalan.
Ha kezdő számhármasnak a szabálynak nem megfelelő példát adsz meg, az egy egészen másik játék, ilyennel ne érvelj.
Amúgy meg el nem végzett kísérletek feltételezett eredményével érvelni elég súlytalan.
dekatlon 2008.05.08. 16:01:59
wice:
amig a szerző nem nyilatkozik, hogy hogyan értette, addig neked tulajdonítom a 1/6 elméletet :)
1/6 akkor lesz, ha véletlenül dobáljuk (még jobb, ha géppel dobáltatjuk, kivinja a pszihológiai bizonytalansági tényezőt) a kísérleteket, de nem ezt tesszük.
Hipotézist állítunk, kisérletezünk, értékelünk.
Pl. hipotézis1: nem növekvő számsor is jó. Egy példa, egy cáfolat, hipotézis elvetve. Innentől csak pozitív megerősítéseink lesznek az adott kísérletben, miközben fokozatosan elhisszük, hogy a megoldás nem ennek valami logikai részhalmaza. (pl. 10-nél kissebb különbséggel növekvő számsor)
Ha ezen az úton megyünk, nyilván több lesz a megerősítés mint a cáfolat, de ez nem rólunk, hanem a tesztről mond dolgokat.
u.i.: vajon mit hozna az teszt, hogy növekvő számsor, kivéve, ha a számok 13 többszörösei? :))
Már annak észrevételéhez, hogy nem elég szabály a növekvőség nagyon sok pozitív kísérlet kell... aztán meg aki megleli a 13-at, hány kísérlet után hiszi el, hogy nincs több ilyen "easter egg" a feladványban?
amig a szerző nem nyilatkozik, hogy hogyan értette, addig neked tulajdonítom a 1/6 elméletet :)
1/6 akkor lesz, ha véletlenül dobáljuk (még jobb, ha géppel dobáltatjuk, kivinja a pszihológiai bizonytalansági tényezőt) a kísérleteket, de nem ezt tesszük.
Hipotézist állítunk, kisérletezünk, értékelünk.
Pl. hipotézis1: nem növekvő számsor is jó. Egy példa, egy cáfolat, hipotézis elvetve. Innentől csak pozitív megerősítéseink lesznek az adott kísérletben, miközben fokozatosan elhisszük, hogy a megoldás nem ennek valami logikai részhalmaza. (pl. 10-nél kissebb különbséggel növekvő számsor)
Ha ezen az úton megyünk, nyilván több lesz a megerősítés mint a cáfolat, de ez nem rólunk, hanem a tesztről mond dolgokat.
u.i.: vajon mit hozna az teszt, hogy növekvő számsor, kivéve, ha a számok 13 többszörösei? :))
Már annak észrevételéhez, hogy nem elég szabály a növekvőség nagyon sok pozitív kísérlet kell... aztán meg aki megleli a 13-at, hány kísérlet után hiszi el, hogy nincs több ilyen "easter egg" a feladványban?
Gyuri Geller 2008.05.08. 16:07:17
SZerbasztok!
Háhrom ig szahmolok s everybody káttintson á linkre
ety!
keto!
harom!
torrent.hu/e107_files/downloads/csoda1.swf
Na ez milyen kiserlet? :)
Háhrom ig szahmolok s everybody káttintson á linkre
ety!
keto!
harom!
torrent.hu/e107_files/downloads/csoda1.swf
Na ez milyen kiserlet? :)
hvuk 2008.05.08. 16:28:17
András!
"abszolút nem értem a példádat, a feladat lényege, hogy az elsőként megadott számhármas megfelel a szabálynak, tehát a példádban a 6-4-2-vel kéne indítani, és szerintem ebből mindenkinek azonnal bekattanna, hogy csökkenő sorozatokat kell megadni.
Ha kezdő számhármasnak a szabálynak nem megfelelő példát adsz meg, az egy egészen másik játék, ilyennel ne érvelj."
Hát ebben a feladatban abszolút így volt, de nem látom be, hogy miért ne lenne a fordított feladat más a bias szempontjából. Amúgy szerintem ha 6-4-2 lenne a hármas és csökkenő lenne a szabály, akkor is több lenne a cáfoló kísérlet.
"Amúgy meg el nem végzett kísérletek feltételezett eredményével érvelni elég súlytalan."
Igen, csakhogy ebből a kísérletből egyszerűen nem következik, hogy ez a bias miatt van. Mivel az nyilván létező jelenség, ezért biztos van annak is hatása, de egyáltalán nem következik a kísérletből, hogy csak amiatt lenne, sőt még csak az sem, hogy annak itt jelentős lenne a hatása.
"abszolút nem értem a példádat, a feladat lényege, hogy az elsőként megadott számhármas megfelel a szabálynak, tehát a példádban a 6-4-2-vel kéne indítani, és szerintem ebből mindenkinek azonnal bekattanna, hogy csökkenő sorozatokat kell megadni.
Ha kezdő számhármasnak a szabálynak nem megfelelő példát adsz meg, az egy egészen másik játék, ilyennel ne érvelj."
Hát ebben a feladatban abszolút így volt, de nem látom be, hogy miért ne lenne a fordított feladat más a bias szempontjából. Amúgy szerintem ha 6-4-2 lenne a hármas és csökkenő lenne a szabály, akkor is több lenne a cáfoló kísérlet.
"Amúgy meg el nem végzett kísérletek feltételezett eredményével érvelni elég súlytalan."
Igen, csakhogy ebből a kísérletből egyszerűen nem következik, hogy ez a bias miatt van. Mivel az nyilván létező jelenség, ezért biztos van annak is hatása, de egyáltalán nem következik a kísérletből, hogy csak amiatt lenne, sőt még csak az sem, hogy annak itt jelentős lenne a hatása.
hvuk 2008.05.08. 16:33:37
Kicsit alaposabban átnéztem még egyszer a cikkedet és megtaláltam azt a kulcsmondatot ami egyszerűen nem igaz és itt megy félre ez a rész.
"Azonban a résztvevők nagy többsége olyan módon vált eléggé biztossá a válaszában, hogy sok megerősítést kapott, kevés cáfolat mellett."
Ez egyszerűen nem igaz. Mert nem tudjuk, hogy mennyi cáfolatot kaptak, csak azt tudjuk, hogy az általuk elvégzett kísérletek hány százaléka cáfolta meg az igazi szabályt, de azt nem, hogy hány cáfolta meg a feltételezett szabályt! Így aztán az erre adott magyarázat is téves:
"Ennek a jelenségnek a pszichológiában külön neve is van: megerősítési torzítás, az angol nyelvű szakirodalomban confirmation bias. "
Ez egyszerűen nem ugyanaz a jelenség! Pontosabban lehet ugyanaz a jelenség, de ez a kísérletből nem derül ki.
"Azonban a résztvevők nagy többsége olyan módon vált eléggé biztossá a válaszában, hogy sok megerősítést kapott, kevés cáfolat mellett."
Ez egyszerűen nem igaz. Mert nem tudjuk, hogy mennyi cáfolatot kaptak, csak azt tudjuk, hogy az általuk elvégzett kísérletek hány százaléka cáfolta meg az igazi szabályt, de azt nem, hogy hány cáfolta meg a feltételezett szabályt! Így aztán az erre adott magyarázat is téves:
"Ennek a jelenségnek a pszichológiában külön neve is van: megerősítési torzítás, az angol nyelvű szakirodalomban confirmation bias. "
Ez egyszerűen nem ugyanaz a jelenség! Pontosabban lehet ugyanaz a jelenség, de ez a kísérletből nem derül ki.
hvuk 2008.05.08. 16:37:12
Abban egyetértek, hogy a rossz választ adók esetében ez teljes mértékben szerepet játszott, hiszen ők meg sem próbálták a végső elméletüket megcáfolni. Náluk ez is fontos volt (meg vélhetőleg az intellektuális lustaság is, a logikus gondolkodás hiánya, stb...).
Viszont a helyes választ adók esetében a 35%-os arány alacsony mivolta már egyáltalán nem biztos, hogy ugyanerre vezethető vissza.
Viszont a helyes választ adók esetében a 35%-os arány alacsony mivolta már egyáltalán nem biztos, hogy ugyanerre vezethető vissza.
bagoj 2008.05.08. 16:39:51
Nekem az nem világos, hogy miért 1/6 a szabálynak megfelelő számhármasok aránya. Az addig rendben, hogy 3 számot hatféleképp lehet sorbarakni és azok közül csak az egyik jó (vagy egyik sem, ha vannak egyenlőek) de gondolkozhatunk a következőképpen is:
Tekintsünk egy tetszőleges számot. ez lesz a sorozat első eleme. Most tegyük hozzá a második elemet, egy véletlenszerű számot. Mivel a számegyenes adott pontjához képest (első elem) ugyanannyi kisebb mint nagyobb szám van, ezért bármi is volt az első elem, az összes számhármas közül aminek az első eleme az előbb kiválasztott szám, a fele lesz olyan, amire teljesül, hogy az első elem kisebb a másodiknál. Hasonlóképpen bármi is az első két elem, a harmadik elem 1/2 valószínűséggel lesz nagyobb a másodiknál. Mivel mindhárom szám választása egymástól független, ezért 1/2 *1/2 = 1/4 a szabálynak megfelelő sorozatok aránya.
Mivel 1/4 =/= 1/6 ezért valamelyik érvelés hibás, de melyik?
Tekintsünk egy tetszőleges számot. ez lesz a sorozat első eleme. Most tegyük hozzá a második elemet, egy véletlenszerű számot. Mivel a számegyenes adott pontjához képest (első elem) ugyanannyi kisebb mint nagyobb szám van, ezért bármi is volt az első elem, az összes számhármas közül aminek az első eleme az előbb kiválasztott szám, a fele lesz olyan, amire teljesül, hogy az első elem kisebb a másodiknál. Hasonlóképpen bármi is az első két elem, a harmadik elem 1/2 valószínűséggel lesz nagyobb a másodiknál. Mivel mindhárom szám választása egymástól független, ezért 1/2 *1/2 = 1/4 a szabálynak megfelelő sorozatok aránya.
Mivel 1/4 =/= 1/6 ezért valamelyik érvelés hibás, de melyik?
nyari mikulas (törölt) 2008.05.08. 16:42:45
En is csatlakozom azok velemenyehez, akik szerint Andras kovetkeztetese amegerősítési torzítás kapcsan teves.
Ott a hiba Andras logikajaban, hogy feltetelezi, hogy en kapasbol tudom, mi a helyes megoldas es csak azt tesztelem.
Nem igy van.
Ha nem tudod, hogy en eppen milyen hipoteist tesztelek, akkor nem tudhatod azt sem, hogy eppen pozitiv pelda tesztelek, vagy negativat.
Ott a hiba Andras logikajaban, hogy feltetelezi, hogy en kapasbol tudom, mi a helyes megoldas es csak azt tesztelem.
Nem igy van.
Ha nem tudod, hogy en eppen milyen hipoteist tesztelek, akkor nem tudhatod azt sem, hogy eppen pozitiv pelda tesztelek, vagy negativat.
nyari mikulas (törölt) 2008.05.08. 16:46:37
Mivel nem veletlen szamokat tesztelek, hanem valamilyen hipotezist ellenorzok, annak sincs semmi jelentosege, hogy mi a valoszinusege hogy harom veletlen szam megfelel-e a szabalynak.
szhun 2008.05.08. 17:00:45
Bagoj!
Ott a bibi, hogy a harmadik szám hozzárakásakor csak azt az esetet vizsgálod, amikor a két szám jó sorrendben van. Tehát a második szám hozzárakása valóban felezi a számokat. A harmadik lépésnél viszont már 50% esélyed van, hogy semmiképp se legyen jó számod, és a másik 50%-nak is csak a fele sül el jól.
Ott a bibi, hogy a harmadik szám hozzárakásakor csak azt az esetet vizsgálod, amikor a két szám jó sorrendben van. Tehát a második szám hozzárakása valóban felezi a számokat. A harmadik lépésnél viszont már 50% esélyed van, hogy semmiképp se legyen jó számod, és a másik 50%-nak is csak a fele sül el jól.
wice 2008.05.08. 17:32:03
tamas55: "Ott a hiba Andras logikajaban, hogy feltetelezi, hogy en kapasbol tudom, mi a helyes megoldas es csak azt tesztelem.
Nem igy van."
ott a pont. ha az lett volna a feladat, h "ellenorizd, h azok es csak azok a szamsorok felelnek meg, amikre igaz, h szigoruan monoton novekedok", akkor valoban relevans lenne, h hany megerosites es hany cafolat utan dont vki, h igaz, v sem. mivel azonban mindenkinek szamos kulonbozo hipotezist kellett kitalalnia es ellenoriznie, ezert semmit sem mond a jatekosok biasarol az, h ezeknek a hipoteziseknek a tesztelese soran hany, az igazi szabalynak megfelelo ill azzal ellentetes eredmenyt kaptak.
Nem igy van."
ott a pont. ha az lett volna a feladat, h "ellenorizd, h azok es csak azok a szamsorok felelnek meg, amikre igaz, h szigoruan monoton novekedok", akkor valoban relevans lenne, h hany megerosites es hany cafolat utan dont vki, h igaz, v sem. mivel azonban mindenkinek szamos kulonbozo hipotezist kellett kitalalnia es ellenoriznie, ezert semmit sem mond a jatekosok biasarol az, h ezeknek a hipoteziseknek a tesztelese soran hany, az igazi szabalynak megfelelo ill azzal ellentetes eredmenyt kaptak.
bagoj 2008.05.08. 17:40:09
Persze hogy nem véletlenszámok vannak, hiszen van valamilyen elképzelésem, hogy mi lehet a szabály és ahhoz képest keresek megerősítést vagy cáfolatot, de a postban az áll, hogy
az összes létező számhármasnak csupán mintegy 1/6-a felel meg a tényleges szabálynak
ami szerintem tévedés, bár a cikk szempontjából ez kevésbé lényeges, hiszen ezt az akár 1/6-ot akár 1/4-ed hasonlítja a 3/4-hez, ami a tesztelt számhármasok közül a helyesek aránya.
szhun, szerintem ugyanazt mondjuk, de megpróbálok mégegyszer nekifutni, hátha érthetőbb leszek. szóval van három szám, jelöljük ezeket a, b és c-vel. A szabály akkor teljesül ha a
az összes létező számhármasnak csupán mintegy 1/6-a felel meg a tényleges szabálynak
ami szerintem tévedés, bár a cikk szempontjából ez kevésbé lényeges, hiszen ezt az akár 1/6-ot akár 1/4-ed hasonlítja a 3/4-hez, ami a tesztelt számhármasok közül a helyesek aránya.
szhun, szerintem ugyanazt mondjuk, de megpróbálok mégegyszer nekifutni, hátha érthetőbb leszek. szóval van három szám, jelöljük ezeket a, b és c-vel. A szabály akkor teljesül ha a
bagoj 2008.05.08. 17:46:51
ez is egy kísérlet, két próbálkozásból rájöttem, hogy nem küldhetek kacsacsőröket. :)
szóval a szabály akkor teljesül, ha a kisebb b és b kisebb c. Mind a két reláció 50%-os valószínűséggel teljesül és mivel ezek egymástól függetlenek, ezért annak a valószínűsége, hogy egyszerre teljesül a kettő, az valószínűségeik szorzata, vagyis 1/2 * 1/2
szóval a szabály akkor teljesül, ha a kisebb b és b kisebb c. Mind a két reláció 50%-os valószínűséggel teljesül és mivel ezek egymástól függetlenek, ezért annak a valószínűsége, hogy egyszerre teljesül a kettő, az valószínűségeik szorzata, vagyis 1/2 * 1/2
Szilágyi András 2008.05.08. 18:21:14
Mint már a cikkben is írtam, az optimális cáfolatarányt nem lehet megmondani anélkül, hogy ne definiálnánk a vizsgált szabályteret, és ezért nincs is egzakt válasz arra, hogy a biast mihez képest mérjük. Tehát ezek nem egzakt okfejtések.
De egy analógiával talán meg tudom világítani, mire gondolok: hasonlítsuk a feladatot egy alakfelismerési feladathoz. Egy fehér négyzetbe bele van festve egy fekete tartomány, ezt kell feltérképezni úgy, hogy a pontokból mintákat vehetünk, és azokról meghatározhatjuk, feketék-e vagy fehérek. Ahhoz, hogy a tartományt optimálisan feltérképezzük, leginkább a határvonal környékéről érdemes mintákat vennünk, annak mindkét oldaláról, nagyjából egyenlő arányban. Ezen kívül célszerű még néhány pontot a tartomány belsejéből is megnézni, nincs-e valahol egy fehér sziget, és kívül is pár pontot, nincs-e valahol egy fekete sziget. Végeredményben az optimális feltérképezést úgy érjük el, hogy nagyjából fele-fele arányban néztünk fekete és fehér pontokat.
De egy analógiával talán meg tudom világítani, mire gondolok: hasonlítsuk a feladatot egy alakfelismerési feladathoz. Egy fehér négyzetbe bele van festve egy fekete tartomány, ezt kell feltérképezni úgy, hogy a pontokból mintákat vehetünk, és azokról meghatározhatjuk, feketék-e vagy fehérek. Ahhoz, hogy a tartományt optimálisan feltérképezzük, leginkább a határvonal környékéről érdemes mintákat vennünk, annak mindkét oldaláról, nagyjából egyenlő arányban. Ezen kívül célszerű még néhány pontot a tartomány belsejéből is megnézni, nincs-e valahol egy fehér sziget, és kívül is pár pontot, nincs-e valahol egy fekete sziget. Végeredményben az optimális feltérképezést úgy érjük el, hogy nagyjából fele-fele arányban néztünk fekete és fehér pontokat.
Szilágyi András 2008.05.08. 18:23:41
"Mert nem tudjuk, hogy mennyi cáfolatot kaptak, csak azt tudjuk, hogy az általuk elvégzett kísérletek hány százaléka cáfolta meg az igazi szabályt, de azt nem, hogy hány cáfolta meg a feltételezett szabályt!"
Ezt nem értem, hvuk, az igazi szabályt sosem cáfoltuk, a cáfolatok mindig a próbaszámhármasokra vonatkoznak. Hogy cáfolnánk már az igazi szabályt?
Ezt nem értem, hvuk, az igazi szabályt sosem cáfoltuk, a cáfolatok mindig a próbaszámhármasokra vonatkoznak. Hogy cáfolnánk már az igazi szabályt?
Szilágyi András 2008.05.08. 18:26:08
tamas: "Ott a hiba Andras logikajaban, hogy feltetelezi, hogy en kapasbol tudom, mi a helyes megoldas es csak azt tesztelem."
Ezt nem értem, nincs semmi ilyesmi feltételezve, az van feltételezve, hogy az általad adott megoldást tesztelted és erre kaptál megerősítő, ill. cáfoló visszajelzéseket.
Ezt nem értem, nincs semmi ilyesmi feltételezve, az van feltételezve, hogy az általad adott megoldást tesztelted és erre kaptál megerősítő, ill. cáfoló visszajelzéseket.
Szilágyi András 2008.05.08. 18:30:10
Lehet, hogy a szóhasználattal van itt probléma, jobb volna talán pozitív és negatív próbákról beszélni, nem összekeverve a pozitív és negatív számokkal persze. Először így akartam nevezni őket, de aztán meggondoltam magam, talán mégis ez lett volna érthetőbb.
wice 2008.05.08. 18:32:36
Andras: a negyzetben levo tartomany peldaja csak akkor stimmelne, ha meg lenne adva egy allitas ("az alakzat itt es itt helyezkedik el a negyzetben, igy es igy nez ki") es azt kene eldontened, igaz-e az allitas v sem. de (ezzel az analogiaval elve) a kiserletnel nem egy ilyen eldontendo allitasrol volt szo, hanem arrol, h "talald meg az alakzatot leiro szabalyt, raadasul nem egy negyzetben, hanem a teljes sikon". szoval fogalmad sincs, hol a hatarvonal, mi van varhatoan belul, es mi kivul, az se garantalt, h egy osszefuggo alakzatrol van szo, stb.
Szilágyi András 2008.05.08. 18:36:17
wice, nem értelek, nem tudom, honnét veszed ezt az eldöntendő dolgot, semmi ilyesmit nem mondtam, nem ilyen a feladat, leírtam, hogy az alakzat feltérképezése a cél.
wice 2008.05.08. 18:43:57
Andras: "Ezt nem értem, nincs semmi ilyesmi feltételezve, az van feltételezve, hogy az általad adott megoldást tesztelted és erre kaptál megerősítő, ill. cáfoló visszajelzéseket."
azt kene megertened, h az altalad egy jatekostol kapott "megfelel" probalkozasok halmaza nem egyenlo a jatekos adott pillanatbeli hipoteziset megerosito valaszok halmazaval, ahogy a "nem felel meg" probalkozasok halmaza sem egyenlo a hipoteziset cafolo valaszok halmazaval. a "megfelel" probalkozasok egy resze eppenhogy cafolta a jatekos aktualis hipoteziset, mig a "nem felel meg" probalkozasok egy resze pont, hogy megerositette a hipoteziset. tehat a "megfelel" es "nem felel meg" eredmenyek szamabol nem tudsz kovetkeztetni arra, h a jatekos hany, az aktualis hipoteziset alatamasztani szandekozo, es hany, azt cafolni probalo kiserletet tett.
azt kene megertened, h az altalad egy jatekostol kapott "megfelel" probalkozasok halmaza nem egyenlo a jatekos adott pillanatbeli hipoteziset megerosito valaszok halmazaval, ahogy a "nem felel meg" probalkozasok halmaza sem egyenlo a hipoteziset cafolo valaszok halmazaval. a "megfelel" probalkozasok egy resze eppenhogy cafolta a jatekos aktualis hipoteziset, mig a "nem felel meg" probalkozasok egy resze pont, hogy megerositette a hipoteziset. tehat a "megfelel" es "nem felel meg" eredmenyek szamabol nem tudsz kovetkeztetni arra, h a jatekos hany, az aktualis hipoteziset alatamasztani szandekozo, es hany, azt cafolni probalo kiserletet tett.
hvuk 2008.05.08. 19:04:12
"Ezt nem értem, hvuk, az igazi szabályt sosem cáfoltuk, a cáfolatok mindig a próbaszámhármasokra vonatkoznak. Hogy cáfolnánk már az igazi szabályt?"
Félreérthetően fogalmaztam. Megfogalmazom újra, mégpedig az általad javasolt negatív és pozitív próbákkal. Egy próba negatív akkor, ha az általunk kitalált szabálynak (tehát nem az eredetinek!) nem felel meg a számhármas és pozitív akkor, ha megfelel.
Eredetileg ezt írtad:
"Azonban a résztvevők nagy többsége olyan módon vált eléggé biztossá a válaszában, hogy sok megerősítést kapott, kevés cáfolat mellett."
Áírva ezt z új kifejezésekkel:
"Azonban a résztvevők nagy többsége olyan módon vált eléggé biztossá a válaszában, hogy sok pozitív probát végzett, kevés negatív próba mellett."
Helyes ez az átírás? Gondolom igen, ha nem, akkor fejtsd ki, hogy te mire gondoltál légyszi! Mostantól felteszem, hogy helyes. :)
1. első próba: tesztelem az 1-2-3 számhármast. Ez mindenképpen pozitív próbának számít akor, ha arra teszteljük, hogy szig. mon. növekvő a sorozat, de negatív próbának minősül, ha abból a felvetésből indultunk ki, hogy a sorozat tagjai 2-vel nagyobbak, mint az előző (mert ennek a teoretikus szabálynak nem felel meg). És megint pozitív a próba, ha az volt a kiinduló koncepciónk, hogy a sorozatra a k, 2*k, 3*k szabály igaz (mert itt meg megfelel).
Na most, te ezt a számhármast (1,2,3) a pozitívak közzé számítod mindenképpen, pedig ha a kísérletet végző személy teóriája a (k, k+2, k+4) szabály volt és ezt akarta tesztelni, akkor ez egy negatív próba volt, hiszen egy olyan számhármassal póbálkozott, amitől cáfolatot várt, nem pedig megerősítést.
Mivel pedig fogalmad sincs, hogy az illető milyen szabályt akart tesztelni (az adott próbával), így azt sem tudhatod, hogy vajon az pozitív vagy negatív volt.
Félreérthetően fogalmaztam. Megfogalmazom újra, mégpedig az általad javasolt negatív és pozitív próbákkal. Egy próba negatív akkor, ha az általunk kitalált szabálynak (tehát nem az eredetinek!) nem felel meg a számhármas és pozitív akkor, ha megfelel.
Eredetileg ezt írtad:
"Azonban a résztvevők nagy többsége olyan módon vált eléggé biztossá a válaszában, hogy sok megerősítést kapott, kevés cáfolat mellett."
Áírva ezt z új kifejezésekkel:
"Azonban a résztvevők nagy többsége olyan módon vált eléggé biztossá a válaszában, hogy sok pozitív probát végzett, kevés negatív próba mellett."
Helyes ez az átírás? Gondolom igen, ha nem, akkor fejtsd ki, hogy te mire gondoltál légyszi! Mostantól felteszem, hogy helyes. :)
1. első próba: tesztelem az 1-2-3 számhármast. Ez mindenképpen pozitív próbának számít akor, ha arra teszteljük, hogy szig. mon. növekvő a sorozat, de negatív próbának minősül, ha abból a felvetésből indultunk ki, hogy a sorozat tagjai 2-vel nagyobbak, mint az előző (mert ennek a teoretikus szabálynak nem felel meg). És megint pozitív a próba, ha az volt a kiinduló koncepciónk, hogy a sorozatra a k, 2*k, 3*k szabály igaz (mert itt meg megfelel).
Na most, te ezt a számhármast (1,2,3) a pozitívak közzé számítod mindenképpen, pedig ha a kísérletet végző személy teóriája a (k, k+2, k+4) szabály volt és ezt akarta tesztelni, akkor ez egy negatív próba volt, hiszen egy olyan számhármassal póbálkozott, amitől cáfolatot várt, nem pedig megerősítést.
Mivel pedig fogalmad sincs, hogy az illető milyen szabályt akart tesztelni (az adott próbával), így azt sem tudhatod, hogy vajon az pozitív vagy negatív volt.
Szilágyi András 2008.05.08. 19:07:18
wice, ezt én eddig is értettem, de azt hiszem, megintcsak a szóhasználat okozza itt a gondot. A "megfelel" és a "nem felel meg" válasz is lehet egy adott hipotézis megerősítése és cáfolata is egyaránt, attól függően, hogy mi a hipotézis. Beszéljünk inkább pozitív és negatív példákról. Ami a kísérletből kijött, az az, hogy a végső megoldáshoz (és most mindegy is, hogy az helyes volt-e vagy nem) az emberek úgy jutottak el, hogy sokkal több pozitív példát teszteltek le, mint negatívat. Az alakzatos példára lefordítva, a fekete rész belsejében mintavételeztek elsősorban, és nem nagyon mentek ki az alakzat szélére, hogy ott alaposabban felmérjék, hol kezdődik a fehér tartomány. Ezért aztán a végső megoldásuk sok esetben a fekete tartomány egy részhalmaza volt. A tényleges határokat úgy tudták volna feltérképezni, ha jobban törekednek arra, hogy fehér pontokat is lássanak.
Szilágyi András 2008.05.08. 19:10:01
hvuk: a pozitív vagy negatív nem attól függ, hogy ő minek szánta, hanem hogy mit kapott válaszként. Lásd az előző hozzászólást.
hvuk 2008.05.08. 19:12:58
Bemásolom ide egy régi hozzászólásomat, de átírom érthetőbbre. Ez egy példabeli tesztelési sorozatot mutat be. Mindig felteszek egy teóriát, majd utánna azt tesztelem.
1. teória: k, k+2, k+4 vagy pedig k, 2*k, 3*k - kísérleti számhármas: 2, 10, 20 - negatív próbának minősül ezen két elmélet szempontjából, de pozitív próbának a tényleges szabályra nézve
2. teória: páros számnak kell lennie - kísérleti számhármas: 1, 5, 17 - negatív próba a saját elméletemre nézve, de pozitív a tényleges szabályt
3. teória: pozitív számnak kell lennie - kísérleti számhármas: -1, 5, 17 - negatív a saját elméletemre, de pozitív a tényleges szabályra
4. teória: következő tagnak legalább 2x nagyobbnak kell lennie az előző abszolút értékénél - kísérleti számhármas: 3, 4, 5 - negatív a saját elméletemre, de pozitív a tényleges szabályra
5. teória: szigorúan növekvőnek kell lennie - kísérleti számhármas: 2, 2, 5 - negatív a saját elméletemre és negatív a tényleges szabályra nézve is
Ezután még elvégzek mondjuk 5 kísérletet amiből 3 negatív a szig. mon. növekvő szabályra és 2 pedig pozitív. Összesen 10 kísérletet végeztem, ebből az általam feltett pillanatnyi teóriára nézve negatív volt 8 kísérlet és pozitív 2, míg a tényleges szabályra nézve negatív volt 3 és pozitív 7 kísérlet.
És fontos látni azt, hogy az én szándékom szerint 10-ből 8 negatív kísérletet végeztem, te viszont a felmérésed alapján ezt csak 3-nak méred. 80% vs. 30%. Elég nagy differencia.
1. teória: k, k+2, k+4 vagy pedig k, 2*k, 3*k - kísérleti számhármas: 2, 10, 20 - negatív próbának minősül ezen két elmélet szempontjából, de pozitív próbának a tényleges szabályra nézve
2. teória: páros számnak kell lennie - kísérleti számhármas: 1, 5, 17 - negatív próba a saját elméletemre nézve, de pozitív a tényleges szabályt
3. teória: pozitív számnak kell lennie - kísérleti számhármas: -1, 5, 17 - negatív a saját elméletemre, de pozitív a tényleges szabályra
4. teória: következő tagnak legalább 2x nagyobbnak kell lennie az előző abszolút értékénél - kísérleti számhármas: 3, 4, 5 - negatív a saját elméletemre, de pozitív a tényleges szabályra
5. teória: szigorúan növekvőnek kell lennie - kísérleti számhármas: 2, 2, 5 - negatív a saját elméletemre és negatív a tényleges szabályra nézve is
Ezután még elvégzek mondjuk 5 kísérletet amiből 3 negatív a szig. mon. növekvő szabályra és 2 pedig pozitív. Összesen 10 kísérletet végeztem, ebből az általam feltett pillanatnyi teóriára nézve negatív volt 8 kísérlet és pozitív 2, míg a tényleges szabályra nézve negatív volt 3 és pozitív 7 kísérlet.
És fontos látni azt, hogy az én szándékom szerint 10-ből 8 negatív kísérletet végeztem, te viszont a felmérésed alapján ezt csak 3-nak méred. 80% vs. 30%. Elég nagy differencia.
szhun 2008.05.08. 19:15:36
Bagoj!
Tulajdonképpen elvben igazad van.
Mert ha leírtad az első két számot (és azok még jók, tehát növekvőek), akkor vagy kisebbet mondasz, mint b, vagy nem.
Csakhogy ha egy sorrendiséget figyelembe vevő szabályt tesztelsz, akkor három féle dolgot tehetsz. Vagy kisebbet mondasz a-nál is, vagy a két érték közé teszed, vagy b-nél nagyobbat mondasz.
Ez az egész vita azért is fura, mert mindegyik eset végtelen számú. Tehát számosságára az 1/4 végtelen megegyezik az 1/6-od végtelennel, mindkettő végtelen.
Elméletileg igaz, hogy a 3. szám berakásakor annak az esélye, hogy az új szám a és b közé kerül, tulajdonképpen elenyésző, elvileg mondhatnánk, hogy 0. Hiszen a két
meglévő, tehát véges szám között véges a különbség, míg náluk kisebb vagy nagyobb számokból végtelen van. De abban a pillanatban, hogy azért nem valószínű, hogy végtelen nagy számokat írkálsz be, hanem valószínű, hogy nem lesz a világegyetem atomjainak a számánál nagyobb egyik érték sem :-), már ez nem igaz, tehát a zárt körben lévő számhármasok hatoda lesz jó. Egy példa, ha 4 számod van:
123 124 132 134 142 143
213 214 231 234 241 243
312 314 321 324 341 342
412 413 421 423 431 432
Ez tehát 24 lehetőség, és közülük 4 jó csak, az 123 124 134 234. Hányadosuk 6. Tehát ha te véges lehetséges számhármasok (ahol minden érték különböző) közül húzol, akkor 1/6 az esélye, hogy növekvőt veszel ki. Tehát gyakorlatilag meg igaz az 1/6. :-)
Tulajdonképpen elvben igazad van.
Mert ha leírtad az első két számot (és azok még jók, tehát növekvőek), akkor vagy kisebbet mondasz, mint b, vagy nem.
Csakhogy ha egy sorrendiséget figyelembe vevő szabályt tesztelsz, akkor három féle dolgot tehetsz. Vagy kisebbet mondasz a-nál is, vagy a két érték közé teszed, vagy b-nél nagyobbat mondasz.
Ez az egész vita azért is fura, mert mindegyik eset végtelen számú. Tehát számosságára az 1/4 végtelen megegyezik az 1/6-od végtelennel, mindkettő végtelen.
Elméletileg igaz, hogy a 3. szám berakásakor annak az esélye, hogy az új szám a és b közé kerül, tulajdonképpen elenyésző, elvileg mondhatnánk, hogy 0. Hiszen a két
meglévő, tehát véges szám között véges a különbség, míg náluk kisebb vagy nagyobb számokból végtelen van. De abban a pillanatban, hogy azért nem valószínű, hogy végtelen nagy számokat írkálsz be, hanem valószínű, hogy nem lesz a világegyetem atomjainak a számánál nagyobb egyik érték sem :-), már ez nem igaz, tehát a zárt körben lévő számhármasok hatoda lesz jó. Egy példa, ha 4 számod van:
123 124 132 134 142 143
213 214 231 234 241 243
312 314 321 324 341 342
412 413 421 423 431 432
Ez tehát 24 lehetőség, és közülük 4 jó csak, az 123 124 134 234. Hányadosuk 6. Tehát ha te véges lehetséges számhármasok (ahol minden érték különböző) közül húzol, akkor 1/6 az esélye, hogy növekvőt veszel ki. Tehát gyakorlatilag meg igaz az 1/6. :-)
szhun 2008.05.08. 19:23:44
De egyébként az 1/6 semmiképp sem stimmel, mint már mondtam, mert azt nem veszi figyelembe, hogy az értékek azonosak is lehetnek. (És azt nem is fogadja el a szabály.) De ez teoretikus vita, mert elvben valóban 1/4 az esélye annak, hogy egy tetszőlegesen végtelen értéket generáló gép növekvő sorrendet mondjon, ilyen gépet úgysem lehetne csinálni. Ha pedig emberek írnak majd be számokat, vagy egy mai számítógép tippelgetne, akkor inkább közelebb lesz a találati érték az 1/6-odhoz.
De ebben nem vagyok biztos. :-) Ha ember ad számokat, ott a pszichológia beleszólhat.
De ebben nem vagyok biztos. :-) Ha ember ad számokat, ott a pszichológia beleszólhat.
hvuk 2008.05.08. 19:24:08
András!
"a pozitív vagy negatív nem attól függ, hogy ő minek szánta, hanem hogy mit kapott válaszként. Lásd az előző hozzászólást."
Nem, ennek így nincs semmi értelme!
"Állandóan a megerősítést keressük tehát, és irtózunk a cáfolatoktól." - idézet tőled.
A fenti példámban a kísérletező az első 5 mérés alatt végig a cáfolatot kereste (hiszen olyan számhármast választott ami nem illett bele az elméletébe)! De te ezeket végig pozitívnak mérted (mármint az első 4-et). Megj.: fent elírtam, nem 80 és 30% a helyes arány, hanem 80% és 40%, de ez végül is mindegy.
Az, hogy hányszor írt be olyat ami a tényleges szabálynak nem felel meg érdektelen, az a lényeg, hogy hányszor írt olyat ami a tesztelni akart szabályra ad negatív számot.
Beidézem a wikipédiából fentebb idézett összegzést az eredeti kísérletről (most nincs időm a pdf-et végignézni):
"The subjects seemed to test only “positive” examples -- triples that subjects believed would conform to THEIR RULE and confirm THEIR HYPOTHESIS. What they did not do was attempt to challenge or falsify THEIR HYPOTHESES by testing triples that they believed would not conform to THEIR RULE."
Azaz - e szerint - az eredeti kísérlet sem azt nézte amit itt te mondasz, azaz nem azt nézte, hogy az általad kitalált szabálynak megfelel-e. Amit te itt mértél az valami teljesen más. Érzésem szerint egyszerűen azt jelenti, hogy az ilyen feladványos sorozatok esetén triviálisan feltesszük, hogy a sorozat szig. mon. növekvő, így azt feleslegesnek érezzük tesztelni. De ez másról szól, mint amiről te beszélsz.
"a pozitív vagy negatív nem attól függ, hogy ő minek szánta, hanem hogy mit kapott válaszként. Lásd az előző hozzászólást."
Nem, ennek így nincs semmi értelme!
"Állandóan a megerősítést keressük tehát, és irtózunk a cáfolatoktól." - idézet tőled.
A fenti példámban a kísérletező az első 5 mérés alatt végig a cáfolatot kereste (hiszen olyan számhármast választott ami nem illett bele az elméletébe)! De te ezeket végig pozitívnak mérted (mármint az első 4-et). Megj.: fent elírtam, nem 80 és 30% a helyes arány, hanem 80% és 40%, de ez végül is mindegy.
Az, hogy hányszor írt be olyat ami a tényleges szabálynak nem felel meg érdektelen, az a lényeg, hogy hányszor írt olyat ami a tesztelni akart szabályra ad negatív számot.
Beidézem a wikipédiából fentebb idézett összegzést az eredeti kísérletről (most nincs időm a pdf-et végignézni):
"The subjects seemed to test only “positive” examples -- triples that subjects believed would conform to THEIR RULE and confirm THEIR HYPOTHESIS. What they did not do was attempt to challenge or falsify THEIR HYPOTHESES by testing triples that they believed would not conform to THEIR RULE."
Azaz - e szerint - az eredeti kísérlet sem azt nézte amit itt te mondasz, azaz nem azt nézte, hogy az általad kitalált szabálynak megfelel-e. Amit te itt mértél az valami teljesen más. Érzésem szerint egyszerűen azt jelenti, hogy az ilyen feladványos sorozatok esetén triviálisan feltesszük, hogy a sorozat szig. mon. növekvő, így azt feleslegesnek érezzük tesztelni. De ez másról szól, mint amiről te beszélsz.
nyari mikulas (törölt) 2008.05.08. 20:11:08
Andras, extrem peldaval probalok segiteni:
ha a szabaly az lett volna, hogy csak a 2, 4, 6 szamok a megfeleloek, akkor a kiserleted eredmenye azt hozta volna ki, hogy mindenki sokkal tobb helytelen mint helyes valaszon at jut el a megoldashoz.
Masik veglet, ha a szabalyod az, hogy bermilyen harom szamot elfogadsz, akkor mindenki csak pozitiv valaszokat probalt volna ki.
A kiserletben van "bias", torzítás, meghozza ott, hogy mennyire altalanos, megengedo szabalyt tesztelsz, ha az alatalad preferalt modon ertekeled ki a kiserletet, azaz nem azt nezed, hogy en megerositest vagy cafolatot varok-e az aktualisan tesztelt hipotezisemre, hanem azt, hogy a te szabalyod szempontjabol mit kapok.
Mashogy megkozelitve: amig nem ismerem a szabalyt, addig nyilvanvaloan nincs torzítás, hiszen nem tudhatom, hogy helyeslest vagy cafolatot fogok kapni.
A helyes ertekeles az lett volna szerintem, hogyha megkerdezted volna minden valasz utan, hogy erre szamitottam-e.
ha a szabaly az lett volna, hogy csak a 2, 4, 6 szamok a megfeleloek, akkor a kiserleted eredmenye azt hozta volna ki, hogy mindenki sokkal tobb helytelen mint helyes valaszon at jut el a megoldashoz.
Masik veglet, ha a szabalyod az, hogy bermilyen harom szamot elfogadsz, akkor mindenki csak pozitiv valaszokat probalt volna ki.
A kiserletben van "bias", torzítás, meghozza ott, hogy mennyire altalanos, megengedo szabalyt tesztelsz, ha az alatalad preferalt modon ertekeled ki a kiserletet, azaz nem azt nezed, hogy en megerositest vagy cafolatot varok-e az aktualisan tesztelt hipotezisemre, hanem azt, hogy a te szabalyod szempontjabol mit kapok.
Mashogy megkozelitve: amig nem ismerem a szabalyt, addig nyilvanvaloan nincs torzítás, hiszen nem tudhatom, hogy helyeslest vagy cafolatot fogok kapni.
A helyes ertekeles az lett volna szerintem, hogyha megkerdezted volna minden valasz utan, hogy erre szamitottam-e.
Szilágyi András 2008.05.08. 20:18:09
hvuk: keveredik megint a szavak jelentése, pozitív/negatív alatt kizárólag a számhármasra vonatkozó igen/nem választ értem, ez nem függ attól, milyen szabály feltételezése mellett vizsgálod.
A gondolatmenetedet azonban értem, de egy dolgot nem vettél figyelembe: ahogy fejlődik a hipotézis, úgy változik a korábban kapott válaszok értelmezése is, hiszen egy új hipotézis felállításakor az összes korábbi válasz hirtelen megerősítővé válik.
A gondolatmenetedet azonban értem, de egy dolgot nem vettél figyelembe: ahogy fejlődik a hipotézis, úgy változik a korábban kapott válaszok értelmezése is, hiszen egy új hipotézis felállításakor az összes korábbi válasz hirtelen megerősítővé válik.
Szilágyi András 2008.05.08. 20:21:41
tamás: ne mondj extrém példákat.
szhun: futtassál már le egy kis programot: három szám menjen 1-től százig egymásba ágyazott ciklusban, és nézd meg, hány esetben teljesül a növekvő sorrend. Nagyjából 1/6 lesz.
szhun: futtassál már le egy kis programot: három szám menjen 1-től százig egymásba ágyazott ciklusban, és nézd meg, hány esetben teljesül a növekvő sorrend. Nagyjából 1/6 lesz.
tresh 2008.05.08. 20:25:09
Laikusként annyit tennék hozzá, hogy ha kimutathatóan esetleg nincs is, de elméletben van különbség a között, hogy a beírt szám hármast milyen szándékkal írták be. Cáfolási, vagy bizonyítási? A papíron nincs különbség, mert kijön hogy "megfelelt/nem felelt meg" a céltól függetlenül.
Vegyünk egy példát! Beírok pozitív számot. Már kialakul bennem valami elképzelés féle, hogy mégis milyen szabály érvényesül. Nosza, nézzük a negatív számokat! Vajon tudom-e cáfolni az eddig tapasztaltakat? Beírok egy negatív sorozatot, ami pont növekszik. Akkor a cáfolásból megerősítés lesz!
Vegyünk egy példát! Beírok pozitív számot. Már kialakul bennem valami elképzelés féle, hogy mégis milyen szabály érvényesül. Nosza, nézzük a negatív számokat! Vajon tudom-e cáfolni az eddig tapasztaltakat? Beírok egy negatív sorozatot, ami pont növekszik. Akkor a cáfolásból megerősítés lesz!
nyari mikulas (törölt) 2008.05.08. 20:34:55
Numerikusan megoldottam en is (1-6000-ig futtattam) es a valoszinuseg 1/6.
Andras, akkor hogyan tudnek segiteni, hogy belasd, tevedsz, elfogult vagy.
Blogbejegyzeset pelda a megerősítési torzításra. Hibas logikaval probalsz igazolni egy ismert, valos jelenseget.
Nem is probalod megfontolni az erveinket.
Allitom, hogy az 1, 3, 5 szamsort megadva tetszolegesen tudok neked pozitiv vagy negtiv biast kimutatni, attol fuggoen, hogy milyen szabalyt rejtek moge.
Ha nem fogadod el, tegyunk probat, vegezzunk kiserletet (mast is hivok, ha van valakinek kedve hozza).
Ket kulonbozo szabaly alapjan hoztam letre az 1,3,5 szamharmast. Nem extrem szabalyok.
Szabaly "alfa" es szabaly "omega".
Emailben kuldj szamharmasokat, eloszor az egyik szabalyt, utana masik szabalyt probald megfejteni.
Nezzuk, mi lesz az eredmeny. Szerintem ez a tudomanyos megkozelites, ellenorizzuk kiserlettel a hipotezist.
Andras, akkor hogyan tudnek segiteni, hogy belasd, tevedsz, elfogult vagy.
Blogbejegyzeset pelda a megerősítési torzításra. Hibas logikaval probalsz igazolni egy ismert, valos jelenseget.
Nem is probalod megfontolni az erveinket.
Allitom, hogy az 1, 3, 5 szamsort megadva tetszolegesen tudok neked pozitiv vagy negtiv biast kimutatni, attol fuggoen, hogy milyen szabalyt rejtek moge.
Ha nem fogadod el, tegyunk probat, vegezzunk kiserletet (mast is hivok, ha van valakinek kedve hozza).
Ket kulonbozo szabaly alapjan hoztam letre az 1,3,5 szamharmast. Nem extrem szabalyok.
Szabaly "alfa" es szabaly "omega".
Emailben kuldj szamharmasokat, eloszor az egyik szabalyt, utana masik szabalyt probald megfejteni.
Nezzuk, mi lesz az eredmeny. Szerintem ez a tudomanyos megkozelites, ellenorizzuk kiserlettel a hipotezist.
Szilágyi András 2008.05.08. 20:40:17
hvuk: térjünk vissza a fehér négyzetben fekete alakzat hasonlatára. Ugye azt látjuk, hogy az emberek a fekete alakzat belsejében nézelődnek, nem törekszenek fehér pontok találására, és végül az alakzat egy részhalmazát adják meg megoldásként. Miért? Azért, mert a hipotézisük szerint a nem vizsgált részek fehérek lennének, és ezért nem ellenőrzik őket: nem érdeklik őket azok az esetek, amelyekre szerintük nemleges válasz jönne. Miért? Azért, mert ha ezekre mégis igenlő választ kapnak, az cáfolná a hipotézisüket.
Nézzük meg az általad idézett szöveget: "What they did not do was attempt to challenge or falsify THEIR HYPOTHESES by testing triples that they believed would not conform to THEIR RULE."
Ez pontosan azt jelenti, hogy nem teszteltek olyan számhármasokat, amelyekre az ő elképzelt szabályuk szerint NEM válasz érkezne: "triples that they believed would not conform to their rule".
Ugyanerről beszélek én is: a negatív példákat kerülik.
Nézzük meg az általad idézett szöveget: "What they did not do was attempt to challenge or falsify THEIR HYPOTHESES by testing triples that they believed would not conform to THEIR RULE."
Ez pontosan azt jelenti, hogy nem teszteltek olyan számhármasokat, amelyekre az ő elképzelt szabályuk szerint NEM válasz érkezne: "triples that they believed would not conform to their rule".
Ugyanerről beszélek én is: a negatív példákat kerülik.
nyari mikulas (törölt) 2008.05.08. 20:43:06
"Nézzük meg az általad idézett szöveget: "What they did not do was attempt to challenge or falsify THEIR HYPOTHESES by testing triples that they believed would not conform to THEIR RULE."
Ez pontosan azt jelenti, hogy nem teszteltek olyan számhármasokat, amelyekre az ő elképzelt szabályuk szerint NEM válasz érkezne: "triples that they believed would not conform to their rule"."
Andras: amikor te kiertekelted, nem tudhattad, hogy en eppen milyen hipotezist teszteltem azzal a harmassal.
Te csak azt szamoltad, hogy a te szablyodnak megfelelt-e amit teszteltem.
Ez pontosan azt jelenti, hogy nem teszteltek olyan számhármasokat, amelyekre az ő elképzelt szabályuk szerint NEM válasz érkezne: "triples that they believed would not conform to their rule"."
Andras: amikor te kiertekelted, nem tudhattad, hogy en eppen milyen hipotezist teszteltem azzal a harmassal.
Te csak azt szamoltad, hogy a te szablyodnak megfelelt-e amit teszteltem.
Szilágyi András 2008.05.08. 20:54:06
tamás:
Nem számít, a végső konklúziód szempontjából minden Megfelel válasz a te szabályodnak is megfelelt, és minden Nem felel meg válasz a te szabályodnak sem felelt meg, ezért jutottál a végső következtetésedre. A közbenső hipotetikus szabályok nem számítanak, nem akarjuk végiganalizálni a döntéshozatali folyamatot.
Nem számít, a végső konklúziód szempontjából minden Megfelel válasz a te szabályodnak is megfelelt, és minden Nem felel meg válasz a te szabályodnak sem felelt meg, ezért jutottál a végső következtetésedre. A közbenső hipotetikus szabályok nem számítanak, nem akarjuk végiganalizálni a döntéshozatali folyamatot.
nyari mikulas (törölt) 2008.05.08. 21:05:31
Ezt ertem.
De te bias-t keresel.
Azt keresed, hogy "nem teszteltek olyan számhármasokat, amelyekre az ő elképzelt szabályuk szerint NEM válasz érkezne" vagy teszteltek?
Tovabbra is ugy velem, hogy te nem tudhatod, hogy en milyen valaszt vartam.
Nem tudhatod, hogy hany esetben "teszteltek olyan számhármasokat, amelyekre ___az ő elképzelt szabályuk szerint___ NEM válasz érkezne".
A bias az, hogy tobb olyan harmast tesztelek amire en abban a pillanatban poztiv valaszt varok. Utolag nincs bias. A bias az en dontesemben van (vagy nincs), hogy a sajat hipotezisem szempontjabol megerosito vagy cafolo peldat irok be.
Te nem ezt szamoltad.
De te bias-t keresel.
Azt keresed, hogy "nem teszteltek olyan számhármasokat, amelyekre az ő elképzelt szabályuk szerint NEM válasz érkezne" vagy teszteltek?
Tovabbra is ugy velem, hogy te nem tudhatod, hogy en milyen valaszt vartam.
Nem tudhatod, hogy hany esetben "teszteltek olyan számhármasokat, amelyekre ___az ő elképzelt szabályuk szerint___ NEM válasz érkezne".
A bias az, hogy tobb olyan harmast tesztelek amire en abban a pillanatban poztiv valaszt varok. Utolag nincs bias. A bias az en dontesemben van (vagy nincs), hogy a sajat hipotezisem szempontjabol megerosito vagy cafolo peldat irok be.
Te nem ezt szamoltad.
nyari mikulas (törölt) 2008.05.08. 21:08:58
Azt hiszem, latom, hol a hiba.
"minden Megfelel válasz a te szabályodnak is megfelelt, és minden Nem felel meg válasz a te szabályodnak sem felelt meg, ezért jutottál a végső következtetésedre"
Ez, amit itt irsz, teves.
Lehet (es volt is) olyan pozitiv valasz, ami az en pillantnyi szabalyomnak, varakozasomnak nem felelt meg, en negtiv valaszt vartam.
Lehet (es volt is) olyan negtiv valasz, ami az en pillantnyi szabalyomnak, varakozasomnak nem felelt meg, en poztiv valaszt vartam.
"minden Megfelel válasz a te szabályodnak is megfelelt, és minden Nem felel meg válasz a te szabályodnak sem felelt meg, ezért jutottál a végső következtetésedre"
Ez, amit itt irsz, teves.
Lehet (es volt is) olyan pozitiv valasz, ami az en pillantnyi szabalyomnak, varakozasomnak nem felelt meg, en negtiv valaszt vartam.
Lehet (es volt is) olyan negtiv valasz, ami az en pillantnyi szabalyomnak, varakozasomnak nem felelt meg, en poztiv valaszt vartam.
Szilágyi András 2008.05.08. 21:18:23
tamás, ezt a "pillanatnyi szabály" dolgot felejtsd el. Nincs is mindig pillanatnyi szabály, van, amikor az ember csak úgy vaktában vagy homályos elképzelések alapján próbálkozik, nem is tudná megfogalmazni, mit vár tulajdonképpen. A végső megoldást, vagy ha úgy tetszik, végső hipotézist tudjuk: ezt elküldte nekünk a játékos.
Pontosan tudjuk, hány esetben tesztelt olyan számhármast, amelyre az ő végső elképzelése szerint NEM válasz érkezne: annyiban, ahányban NEM választ kapott. Hiszen a végső elképzelése e válaszok alapján alakult ki.
Pontosan tudjuk, hány esetben tesztelt olyan számhármast, amelyre az ő végső elképzelése szerint NEM válasz érkezne: annyiban, ahányban NEM választ kapott. Hiszen a végső elképzelése e válaszok alapján alakult ki.
nyari mikulas (törölt) 2008.05.08. 21:46:17
Andras, mi a megerősítési torzítás, az angol nyelvű szakirodalomban confirmation bias?
"In psychology and cognitive science, confirmation bias is a tendency to search for or interpret new information in a way that confirms one's preconceptions and avoids information and interpretations which contradict prior beliefs."
"Confirmation bias refers to a type of selective thinking whereby one tends to notice and to look for what confirms one's beliefs, and to ignore, not look for, or undervalue the relevance of what contradicts one's beliefs."
Itt pontosan az a lenyeg, hogy az egyen abban a pillanatban mit hisz. Nem erdekes, hogy kesobb mit fog hinni.
Szerintem nem tudjuk egymast meggyozni, javaslom, vegezzuk el a kiserletet, amit fentebb javasoltam.
Itt a szamharmas 1,3,5 akar itt, nyiltan is lejatszhatunk ket fordulot. Akar Veled, akar valaki massal.
"In psychology and cognitive science, confirmation bias is a tendency to search for or interpret new information in a way that confirms one's preconceptions and avoids information and interpretations which contradict prior beliefs."
"Confirmation bias refers to a type of selective thinking whereby one tends to notice and to look for what confirms one's beliefs, and to ignore, not look for, or undervalue the relevance of what contradicts one's beliefs."
Itt pontosan az a lenyeg, hogy az egyen abban a pillanatban mit hisz. Nem erdekes, hogy kesobb mit fog hinni.
Szerintem nem tudjuk egymast meggyozni, javaslom, vegezzuk el a kiserletet, amit fentebb javasoltam.
Itt a szamharmas 1,3,5 akar itt, nyiltan is lejatszhatunk ket fordulot. Akar Veled, akar valaki massal.
Szilágyi András 2008.05.08. 22:22:45
tamás, tök mindegy, hogy valaki mikor hisz ezt vagy azt, a végső döntést a játékos úgysem az utolsó próba után alakítja ki, hanem jóval előbb, és akkor tekinti véglegesnek, amikor már kellően sokszor megerősítette a maga számára. A dolgok időbeliségétől el lehet tekinteni, elég azt vizsgálni: mely információk alapján mit hisz valaki. Ha valaki egy induktív következtetést túlnyomórészt pozitív példák alapján fogad el, és a negatív példákat kerüli vagy ignorálja, az confirmation bias. Ez azzal jár, hogy a jelenlegi véleménye is ilyen torzított ismeretszerzésen alapul, és ez határozza meg a jövőbeni ismeretszerzését is.
A következő cikkben ezt majd bővebben is ki fogom fejteni.
A következő cikkben ezt majd bővebben is ki fogom fejteni.
tresh 2008.05.08. 22:33:46
Ha jól értem Szilágyi Andrást, akkor ő arről beszél, hogy kevesebb volt az olyan leellenőrzés, amikor már egy meglévő szabály alapján biztos negatívot várunk. Ez ugye nem összetévesztendő a kezdeti próbálgatással, amikor inkább csak arra vagyunk kíváncsiak, hogy vajon mit ad majd ki a gép az általunk beírt sorozatra. ("Vajon ezt elfogadja?")
nyari mikulas (törölt) 2008.05.08. 23:02:01
Andras, epp annak alapjan amit itt most irsz, csak onnantol szabad szamolni a pozitiv es negativ probakat, amikortol mar a vegso megoldast tesztelem.
Ha ezt szamolod, akkor egyetertunk.
Szerintem nem ezt szamoltad.
A 2,4,6 pelda eseten a legtobben szerintem eloszor nem a vegso megoldasra gondoltak, hanem a 2,4,6,8,10... sorozatot probaltak ki.
Olyen is lehetett, aki a 2,4,6,10,16, 26 sorozatot tesztelte.
Ezek kozul aki nem probalt negativ peldat, az soha nem jutott el a helyes megoldashoz.
Masfelol abbol is kiindulhatott valaki, hogy paros szamok a megoldas, es szandeka szerint poztiv tesztet vegzett, amikor beirta, hogy 2,2,2. Negativ valaszt kapott.
Te ezt a negativ valaszt ugy ertekelted, mintha a kiserleti alany szandeka szerint negativ peldat tesztelt. Nem azt csinalta.
Ez is confirmation bias volt?
Lehet, hogy azert nem ertjuk egymast, mert Te csak azokra az esetekre gondolsz, mint confirmation bias, amikor az alany hibas kovetkeztetesre jutott mert csak olyan eseteket vizsgalt, amik megfelelnek a szabalyanak?
Kerlek ird le, hogy a kiserletben te konkretan mit tekintesz "confirmation bias"-nak?
Eddig azt hittem, hogy azt, hogy tobb olyan szamharmast probalt ki az alany amire "megfelel" valaszt kapott. Ezzel a nezettel vitaztam. Lehet, hogy tevedek, es nem ezt tekinted "confirmation bias"-nak?
Ha ezt szamolod, akkor egyetertunk.
Szerintem nem ezt szamoltad.
A 2,4,6 pelda eseten a legtobben szerintem eloszor nem a vegso megoldasra gondoltak, hanem a 2,4,6,8,10... sorozatot probaltak ki.
Olyen is lehetett, aki a 2,4,6,10,16, 26 sorozatot tesztelte.
Ezek kozul aki nem probalt negativ peldat, az soha nem jutott el a helyes megoldashoz.
Masfelol abbol is kiindulhatott valaki, hogy paros szamok a megoldas, es szandeka szerint poztiv tesztet vegzett, amikor beirta, hogy 2,2,2. Negativ valaszt kapott.
Te ezt a negativ valaszt ugy ertekelted, mintha a kiserleti alany szandeka szerint negativ peldat tesztelt. Nem azt csinalta.
Ez is confirmation bias volt?
Lehet, hogy azert nem ertjuk egymast, mert Te csak azokra az esetekre gondolsz, mint confirmation bias, amikor az alany hibas kovetkeztetesre jutott mert csak olyan eseteket vizsgalt, amik megfelelnek a szabalyanak?
Kerlek ird le, hogy a kiserletben te konkretan mit tekintesz "confirmation bias"-nak?
Eddig azt hittem, hogy azt, hogy tobb olyan szamharmast probalt ki az alany amire "megfelel" valaszt kapott. Ezzel a nezettel vitaztam. Lehet, hogy tevedek, es nem ezt tekinted "confirmation bias"-nak?
Szilágyi András 2008.05.08. 23:42:09
tamás, úgy látom, csak nem tudsz elszakadni a "pillanatnyi hipotézis" gondolatától meg az ilyen-olyan szándékoktól. Nem érdekel, hogy kinek mikor milyen szándéka volt, csak a végkimenetel számít. Azonkívül maga a döntéshozatali folyamat sem úgy történik vegytisztán, hogy felállítok egy hipotézist, tesztelem, módosítom, megint tesztelem, stb. Persze így szoktuk szépen leírni, mert így olyan szép logikus, de a valóságban ez egy sokkal kuszább folyamat. Inkább az történik, hogy van többféle elképzelés is a fejemben, lazán definiált hipotézisek. Amikor egy számhármast tesztelek, akkor nem feltétlenül egy konkrét hipotézist tesztelek azzal a határozott szándékkal, hogy na most én ezt a hipotézist fogom letesztelni és erre és erre számítok. Hanem mondjuk van három-négy hipotézis a fejemben, azok közül próbálok választani. A válasz egyes hipotéziseket erősít, másokat gyengít. Ebben az értelemben nem is lehet határozottan azt mondani, hogy ez a próba most pozitív próba volt vagy negatív próba volt, mert az egyik hipotézisem szerint pozitív volt, a másik szerint negatív. Ennek megfelelően az sem egyértelmű, hogy mire számítok egy próbánál. Semmire, arra, hogy megtudok valamit, ami segít dönteni a különféle változatok között, meg abban, hogy finomítsak rajtuk, esetleg új ötleteim szülessenek.
Ennek megfelelően azt sem lehet egyértelműen megmondani, hogy mikortól kezdem el tesztelni a "végső megoldást". Lehet, hogy több más hipotézissel együtt kezdem el tesztelni, és fokozatosan válik egyre valószínűbbé.
Tehát azt gondolom, hogy gyakorlatilag lehetetlen a döntéshozási folyamatot olyan szempontból értékelni, hogy valaki mikor mit várt, milyen elképzelést tesztelt és milyen szándékkal. Ez így nem megy. Azzal tudunk csak dolgozni, ami a végén kemény adatként a rendelkezésünkre áll: hány igen és hány nem választ kapott. Ezek alapján hozta meg a döntését.
Tehát azt tekintem confirmation biasnak, hogy a következtetést jóval több igenlő, mint nemleges válasz alapján vonták le. Ez ugyanis azt jelenti, hogy a pozitív példák alapján általánosítottak és nem fordítottak kellő gondot a megtalált szabály érvényességi körének körülhatárolására, amelyet a negatív példák tesznek lehetővé. Ebből a szempontból az se nagyon számít, hogy helyes megoldásra jutottak-e. Aki helyes megoldásra jutott, az jellemzően több nemleges választ használt fel, de egy kicsit is komplikáltabb szabály esetében már ez sem lett volna elég. Most épp szerencséje volt, mert nem volt olyan komplikált a szabály. Éppen ezért úgy gondolom, hogy a confirmation bias a helyes és a helytelen választ adóknál is fennáll, csak a helyes választ adóknál kisebb mértékben. A helyes választ adók sem más emberek alapvetően, mint a helytelen választ adók, ők is hasonlóan gondolkodnak, csak egy picivel talán gondosabbak, vagy jobban ráértek.
Na de most már nincs kedvem tovább rágni a gumicsontot, jó lenne, ha nem vitatkoznánk pusztán a vita kedvéért.
Ennek megfelelően azt sem lehet egyértelműen megmondani, hogy mikortól kezdem el tesztelni a "végső megoldást". Lehet, hogy több más hipotézissel együtt kezdem el tesztelni, és fokozatosan válik egyre valószínűbbé.
Tehát azt gondolom, hogy gyakorlatilag lehetetlen a döntéshozási folyamatot olyan szempontból értékelni, hogy valaki mikor mit várt, milyen elképzelést tesztelt és milyen szándékkal. Ez így nem megy. Azzal tudunk csak dolgozni, ami a végén kemény adatként a rendelkezésünkre áll: hány igen és hány nem választ kapott. Ezek alapján hozta meg a döntését.
Tehát azt tekintem confirmation biasnak, hogy a következtetést jóval több igenlő, mint nemleges válasz alapján vonták le. Ez ugyanis azt jelenti, hogy a pozitív példák alapján általánosítottak és nem fordítottak kellő gondot a megtalált szabály érvényességi körének körülhatárolására, amelyet a negatív példák tesznek lehetővé. Ebből a szempontból az se nagyon számít, hogy helyes megoldásra jutottak-e. Aki helyes megoldásra jutott, az jellemzően több nemleges választ használt fel, de egy kicsit is komplikáltabb szabály esetében már ez sem lett volna elég. Most épp szerencséje volt, mert nem volt olyan komplikált a szabály. Éppen ezért úgy gondolom, hogy a confirmation bias a helyes és a helytelen választ adóknál is fennáll, csak a helyes választ adóknál kisebb mértékben. A helyes választ adók sem más emberek alapvetően, mint a helytelen választ adók, ők is hasonlóan gondolkodnak, csak egy picivel talán gondosabbak, vagy jobban ráértek.
Na de most már nincs kedvem tovább rágni a gumicsontot, jó lenne, ha nem vitatkoznánk pusztán a vita kedvéért.
frank 2008.05.09. 00:14:55
"Nem érdekel, hogy kinek mikor milyen szándéka volt,"
Korabban meg azt irtad, hogy a kiserlet eredmenye szerint az emberek inkabb valasztanak megerosito kiserletet, mint cafolot. ez pont arra vonatkozik, hogy milyen szandekuk volt. Egyszeruen ebbol a tesztbol nem lehet levonni ezt a kovetkeztetest, ez logikai hiba, mert nem tudjuk, hogy valojaban ki hanyszor keresett cafolo peldat. Nem ertem ezt hogy nem lehet erteni.
Korabban meg azt irtad, hogy a kiserlet eredmenye szerint az emberek inkabb valasztanak megerosito kiserletet, mint cafolot. ez pont arra vonatkozik, hogy milyen szandekuk volt. Egyszeruen ebbol a tesztbol nem lehet levonni ezt a kovetkeztetest, ez logikai hiba, mert nem tudjuk, hogy valojaban ki hanyszor keresett cafolo peldat. Nem ertem ezt hogy nem lehet erteni.
Szilágyi András 2008.05.09. 00:21:30
frank: de tudjuk, ugyanis aki keres cáfoló (azaz nemleges) példát, az talál is. Ha nem talált, nem kereste eléggé. Pont annyit talált, amennyit találni akart.
frank 2008.05.09. 00:34:51
Ha nem 2 4 6 van megadva, hanem mondjuk 1 19 21, akkor bizonyara egesz mas eredmeny lett volna, mert senki sem probalgatta volna a k k+2 k+4 es a k 2k 3k alakuat. Egyik sorozat eseten elfogultak az emberek, a masikkor nem? Ez nevetseges.
A 2 4 6 olyan specialis harmas ehhez a szabalyhoz, hogy egy csomo fals pozitivat mutat. Hogy mennyit, azt semmilyen modon nem lehet utolag megmondani, tehat a teszt alkalmatlan azoknak a kovetkezteteseknek a levonasara, amit te levontal. Sot, eppenhogy a kiserlet volt elfogult, mert ugy volt megtervezve, hogy az eredmenybe lehetoleg minel nagyobb elfogultsagot lehessen belemagyarazni.
A 2 4 6 olyan specialis harmas ehhez a szabalyhoz, hogy egy csomo fals pozitivat mutat. Hogy mennyit, azt semmilyen modon nem lehet utolag megmondani, tehat a teszt alkalmatlan azoknak a kovetkezteteseknek a levonasara, amit te levontal. Sot, eppenhogy a kiserlet volt elfogult, mert ugy volt megtervezve, hogy az eredmenybe lehetoleg minel nagyobb elfogultsagot lehessen belemagyarazni.
Szilágyi András 2008.05.09. 01:17:29
Ha az 1 19 21 lett volna megadva, akkor is próbálgattak volna csomó mindent, és sok igen választ csikartak volna ki.
A kísérlet úgy volt megtervezve, hogy sokféle hipotézisnek teret adjon, ezzel nagyon sok valóságos szituációt modellezve. Így megmutatta, hogyan lovaljuk bele magunkat tévhitekbe azáltal, hogy mindig megerősítéseket kapunk rájuk.
A kísérlet úgy volt megtervezve, hogy sokféle hipotézisnek teret adjon, ezzel nagyon sok valóságos szituációt modellezve. Így megmutatta, hogyan lovaljuk bele magunkat tévhitekbe azáltal, hogy mindig megerősítéseket kapunk rájuk.
frank 2008.05.09. 01:35:03
nem mutatta meg.
nyari mikulas (törölt) 2008.05.09. 01:36:57
Elvegeztem ket kiserletet.
Tudodom, statisztikailag nem ertekelheto, de ezert leirom, mert erdekes, es azert is leirom, mert NEM tamogatja az en hipotezisemet.
Az elso kiserletben a blogon talalt peldat adtam fel egy amerikai egyetemistanak: 2,4,6.
14 probalkozasa volt, ebbol 8 helyes es 6 helytelen, mire azt mondta, hogy novekvo sorrend (negativ szamokra is tesztelte).
A masodik kiserletben ugyanennek a szemelynek a feladtam az 3,5,7 szamsor. 14 probalkozas (7 pozitiv es 7 nagtiv) utan feladta, nem talalja a szabalyt, ami az volt, hogy a szamok csak 1-gyel es onmagukkal oszthatoak.
En bevallom, arra szamitottam, hogy sokkal tobb helytelen probalkozast latok majd a masodik esetben. Nem igy tortent.
Tudodom, statisztikailag nem ertekelheto, de ezert leirom, mert erdekes, es azert is leirom, mert NEM tamogatja az en hipotezisemet.
Az elso kiserletben a blogon talalt peldat adtam fel egy amerikai egyetemistanak: 2,4,6.
14 probalkozasa volt, ebbol 8 helyes es 6 helytelen, mire azt mondta, hogy novekvo sorrend (negativ szamokra is tesztelte).
A masodik kiserletben ugyanennek a szemelynek a feladtam az 3,5,7 szamsor. 14 probalkozas (7 pozitiv es 7 nagtiv) utan feladta, nem talalja a szabalyt, ami az volt, hogy a szamok csak 1-gyel es onmagukkal oszthatoak.
En bevallom, arra szamitottam, hogy sokkal tobb helytelen probalkozast latok majd a masodik esetben. Nem igy tortent.
frank 2008.05.09. 01:47:56
"megmutatta, hogyan lovaljuk bele magunkat tévhitekbe azáltal, hogy mindig megerősítéseket kapunk rájuk."
Pl. neked az volt a hipotezised, hogy az emberek inkabb megerositest akarnak. mint cafolast. Ezert vegeztel egy olyan kiserletet, ami ugy lett kitalalva, hogy ezt a hipotezised megerositse, de semmikeppen se cafolja. Gratulalok a sajat farkaba harapo gondolati kigyodhoz :))
Az igazan jo kiserlet az lett volna, ha kulonbozo embereknek kulonbozo kezdo szamharmasokat mutat a gep, veletlenszeruen, es lett volna koztuk olyan is, ami nem felel meg a szabalynak. Ez kiszurte volna legalabba kezdo harmas adta torzitast. A kiserletet tobb kulonbozo szaballyal is el kell vegezni.
Ez a specialis es elfogultra tervezett extrem eset onmagaban nem mutat semmit.
Pl. neked az volt a hipotezised, hogy az emberek inkabb megerositest akarnak. mint cafolast. Ezert vegeztel egy olyan kiserletet, ami ugy lett kitalalva, hogy ezt a hipotezised megerositse, de semmikeppen se cafolja. Gratulalok a sajat farkaba harapo gondolati kigyodhoz :))
Az igazan jo kiserlet az lett volna, ha kulonbozo embereknek kulonbozo kezdo szamharmasokat mutat a gep, veletlenszeruen, es lett volna koztuk olyan is, ami nem felel meg a szabalynak. Ez kiszurte volna legalabba kezdo harmas adta torzitast. A kiserletet tobb kulonbozo szaballyal is el kell vegezni.
Ez a specialis es elfogultra tervezett extrem eset onmagaban nem mutat semmit.
nyari mikulas (törölt) 2008.05.09. 01:51:11
András: azt tekintem confirmation biasnak, hogy a következtetést jóval több igenlő, mint nemleges válasz alapján vonták le.
Wikipedia: Megerősítési torzítás, elfogult megerősítés (confirmation bias): az a tendencia, hogy ha egyszer egy nézetünket kinyilvánítottuk, minden ez után következő bizonyítékot aszerint ííélíink meg, hogy nézetünket, amennyire csak lehetséges, alátámassza.
Elliot Aronson: A társas lény: Megerősítési torzítás az a tendencia, hogy ha egyszer egy nézetünket kinyilvánítottuk, minden ez után következő bizonyítékot a szerint ítélünk meg, hogy nézetünket amennyire csak lehetséges alátámassza.
Ezzel egybehangzanak a par hozzaszolassal korabban idezett angol nyelvu definiciok is.
Ugy velem amit Andras mert az nem a szakirodalomban elfogadott megerősítési torzítás.
Wikipedia: Megerősítési torzítás, elfogult megerősítés (confirmation bias): az a tendencia, hogy ha egyszer egy nézetünket kinyilvánítottuk, minden ez után következő bizonyítékot aszerint ííélíink meg, hogy nézetünket, amennyire csak lehetséges, alátámassza.
Elliot Aronson: A társas lény: Megerősítési torzítás az a tendencia, hogy ha egyszer egy nézetünket kinyilvánítottuk, minden ez után következő bizonyítékot a szerint ítélünk meg, hogy nézetünket amennyire csak lehetséges alátámassza.
Ezzel egybehangzanak a par hozzaszolassal korabban idezett angol nyelvu definiciok is.
Ugy velem amit Andras mert az nem a szakirodalomban elfogadott megerősítési torzítás.
nyari mikulas (törölt) 2008.05.09. 02:02:19
"Így megmutatta, hogyan lovaljuk bele magunkat tévhitekbe azáltal, hogy mindig megerősítéseket kapunk rájuk."
A szabályt a válaszolók 55,2%-a helyesen határozta meg! Ezekben az esetekben elfogultsag elfogultsagot feltetelezni, es teves a "megmutatta, hogyan lovaljuk bele magunkat tévhitekbe" allitas.
A szabályt a válaszolók 55,2%-a helyesen határozta meg! Ezekben az esetekben elfogultsag elfogultsagot feltetelezni, es teves a "megmutatta, hogyan lovaljuk bele magunkat tévhitekbe" allitas.
dunno 2008.05.09. 08:51:30
Sziasztok,
egyrészt nagyon tetszett a kísérlet. Gratulálok!
Másrészt gratulálok a javascript programozónak a kísérletért, ahogyan megpróbálta elrejteni a kódot. (Bár azt nem értem, hogy tulajdonképpen miért is nem server-oldalon futtot a kiértékelés lehetetlenné téve, a szabály "kibogarászását" a kódból, de biztos megvan az oka.)
Harmadrészt érdekes volt a kiétékelés, de azzal alapvetően nem értek egyet. A következő vele a problémám: megerősítésekről és cáfolatokról beszél. De úgy, hogy megerősítésnek a "Megfelel" válaszokat nevezi és viszont.
DE ez rémesen félrevezető. Mert megerősítésnek azt a választ _kell_ nevezni, ami alátámasztja a hipotézist és cáfolatnak azt, ami cáfolja. És teszem azt nekem az a tippem, hogy az a szabály, hogy "a,b,c páros". Ekkor ha a 3,2,1-re azt kampont, hogy "Nem felel meg", akkor az megerősítés valamint ha 1,2,3-ra azt kapom, hogy "Megfelel" az cáfolat.
Tehát sajnos a próbálkozók hipotéziseinek ismerete nélkül elég nehéz kiértékelni, hogy melyik volt megerősítés és melyik cáfolat.
egyrészt nagyon tetszett a kísérlet. Gratulálok!
Másrészt gratulálok a javascript programozónak a kísérletért, ahogyan megpróbálta elrejteni a kódot. (Bár azt nem értem, hogy tulajdonképpen miért is nem server-oldalon futtot a kiértékelés lehetetlenné téve, a szabály "kibogarászását" a kódból, de biztos megvan az oka.)
Harmadrészt érdekes volt a kiétékelés, de azzal alapvetően nem értek egyet. A következő vele a problémám: megerősítésekről és cáfolatokról beszél. De úgy, hogy megerősítésnek a "Megfelel" válaszokat nevezi és viszont.
DE ez rémesen félrevezető. Mert megerősítésnek azt a választ _kell_ nevezni, ami alátámasztja a hipotézist és cáfolatnak azt, ami cáfolja. És teszem azt nekem az a tippem, hogy az a szabály, hogy "a,b,c páros". Ekkor ha a 3,2,1-re azt kampont, hogy "Nem felel meg", akkor az megerősítés valamint ha 1,2,3-ra azt kapom, hogy "Megfelel" az cáfolat.
Tehát sajnos a próbálkozók hipotéziseinek ismerete nélkül elég nehéz kiértékelni, hogy melyik volt megerősítés és melyik cáfolat.
Szilágyi András 2008.05.09. 08:53:42
"A szabályt a válaszolók 55,2%-a helyesen határozta meg! Ezekben az esetekben elfogultsag elfogultsagot feltetelezni, es teves a "megmutatta, hogyan lovaljuk bele magunkat tévhitekbe" allitas."
Még mindig ott van a 45%, akinél megmutatta. És az 55% jó része sem gondolkodott alapvetően másképp.
"Ugy velem amit Andras mert az nem a szakirodalomban elfogadott megerősítési torzítás."
Nem közvetlenül. De szorosan összefügg vele, annak egyik megnyilvánulása.
Még mindig ott van a 45%, akinél megmutatta. És az 55% jó része sem gondolkodott alapvetően másképp.
"Ugy velem amit Andras mert az nem a szakirodalomban elfogadott megerősítési torzítás."
Nem közvetlenül. De szorosan összefügg vele, annak egyik megnyilvánulása.
Szilágyi András 2008.05.09. 09:04:43
frank: "Ezert vegeztel egy olyan kiserletet, ami ugy lett kitalalva, hogy ezt a hipotezised megerositse, de semmikeppen se cafolja."
Már miért ne cáfolhatta volna?
Volt szép számmal olyan résztvevő, aki kb. ugyanannyi igen, mint nem válasz alapján döntött. Olyan is volt jó pár, aki jóval több nem, mint igen választ használt fel, az extrém eset az az illető, aki 61 igen és 206 nem válasz alapján jutott (természetesen helyes) következtetésre. Ha a többség így viselkedett volna, akkor totál meg lenne cáfolva a hipotézis. Nem volt korlátozva, ki meddig próbálkozik, ezért nem számít, hogy a szabály természete miatt eleinte sok igen választ kap az ember, ezt később tetszés szerint kompenzálhatja nem válaszokkal.
Már miért ne cáfolhatta volna?
Volt szép számmal olyan résztvevő, aki kb. ugyanannyi igen, mint nem válasz alapján döntött. Olyan is volt jó pár, aki jóval több nem, mint igen választ használt fel, az extrém eset az az illető, aki 61 igen és 206 nem válasz alapján jutott (természetesen helyes) következtetésre. Ha a többség így viselkedett volna, akkor totál meg lenne cáfolva a hipotézis. Nem volt korlátozva, ki meddig próbálkozik, ezért nem számít, hogy a szabály természete miatt eleinte sok igen választ kap az ember, ezt később tetszés szerint kompenzálhatja nem válaszokkal.
hvuk 2008.05.09. 09:19:06
András!
"keveredik megint a szavak jelentése, pozitív/negatív alatt kizárólag a számhármasra vonatkozó igen/nem választ értem, ez nem függ attól, milyen szabály feltételezése mellett vizsgálod."
Ha ezt érted, akkor viszont nem a bias-t vizsgálod. Azt a wiki szerint egész máshogy vizsgálták: egész pontosan úgy, ahogy én értem a megerősítést és a cáfolatot.
"A gondolatmenetedet azonban értem, de egy dolgot nem vettél figyelembe: ahogy fejlődik a hipotézis, úgy változik a korábban kapott válaszok értelmezése is, hiszen egy új hipotézis felállításakor az összes korábbi válasz hirtelen megerősítővé válik."
És? Ez triviális, ennek nincs köze a bias-hoz. Hülye lennék olyan hipotézist feltenni, aminek ellentmondanak a korábbi kísérletek.
"keveredik megint a szavak jelentése, pozitív/negatív alatt kizárólag a számhármasra vonatkozó igen/nem választ értem, ez nem függ attól, milyen szabály feltételezése mellett vizsgálod."
Ha ezt érted, akkor viszont nem a bias-t vizsgálod. Azt a wiki szerint egész máshogy vizsgálták: egész pontosan úgy, ahogy én értem a megerősítést és a cáfolatot.
"A gondolatmenetedet azonban értem, de egy dolgot nem vettél figyelembe: ahogy fejlődik a hipotézis, úgy változik a korábban kapott válaszok értelmezése is, hiszen egy új hipotézis felállításakor az összes korábbi válasz hirtelen megerősítővé válik."
És? Ez triviális, ennek nincs köze a bias-hoz. Hülye lennék olyan hipotézist feltenni, aminek ellentmondanak a korábbi kísérletek.
hvuk 2008.05.09. 09:23:56
"Ez pontosan azt jelenti, hogy nem teszteltek olyan számhármasokat, amelyekre az ő elképzelt szabályuk szerint NEM válasz érkezne: "triples that they believed would not conform to their rule".
Ugyanerről beszélek én is: a negatív példákat kerülik."
Így van, ezzel egyetértek. A te kísérleted azonban nem EZT mutatta ki, hanem azt, hogy az általad felvázolt szabálynak megfelelt-e a kísérlet vagy sem. Márpedig az eredeti kísérletben mindig azt vizsgálták, hogy a kísérletező által éppen kigondolt szabályt cáfoló vagy megerősítő számhármast használtak-e. Azaz ott érdektelen volt, hogy az igazi szabálynak megfelelt-e vagy sem (noha persze a kísérletet végző erről kapott visszajelzést).
Tényleg nem látod a kettő közötti alapvető különbséget? Nézd meg még egyszer az általam fentebb beírt 5 pontos példát!
Ugyanerről beszélek én is: a negatív példákat kerülik."
Így van, ezzel egyetértek. A te kísérleted azonban nem EZT mutatta ki, hanem azt, hogy az általad felvázolt szabálynak megfelelt-e a kísérlet vagy sem. Márpedig az eredeti kísérletben mindig azt vizsgálták, hogy a kísérletező által éppen kigondolt szabályt cáfoló vagy megerősítő számhármast használtak-e. Azaz ott érdektelen volt, hogy az igazi szabálynak megfelelt-e vagy sem (noha persze a kísérletet végző erről kapott visszajelzést).
Tényleg nem látod a kettő közötti alapvető különbséget? Nézd meg még egyszer az általam fentebb beírt 5 pontos példát!
hvuk 2008.05.09. 09:33:21
"tamás, tök mindegy, hogy valaki mikor hisz ezt vagy azt, a végső döntést a játékos úgysem az utolsó próba után alakítja ki, hanem jóval előbb, és akkor tekinti véglegesnek, amikor már kellően sokszor megerősítette a maga számára. A dolgok időbeliségétől el lehet tekinteni, elég azt vizsgálni: mely információk alapján mit hisz valaki. Ha valaki egy induktív következtetést túlnyomórészt pozitív példák alapján fogad el, és a negatív példákat kerüli vagy ignorálja, az confirmation bias. Ez azzal jár, hogy a jelenlegi véleménye is ilyen torzított ismeretszerzésen alapul, és ez határozza meg a jövőbeni ismeretszerzését is."
Ez egyszerűen nem igaz. A fenti 5 pontos példámban a kísérletező a végső példára nézve a tíz kipróbált számhármas alapján 40%-ban végzett negatív kísérletet, míg 60% pozitív kimenetelűt. Ebből szerinted következik, hogy a saját pillanatnyi koncepcióját is hasonlóan enyhe pozitív bias-al tesztelte, pedig ez nem is igaz, hiszen az első 4 (általad pozitívnak számolt) kísérletben is negatív volt a szándéka. Összességében tehát 80%-ban végzett negatív kimenetelűt, ellentétben az általad mért 40%-al. Azaz a csávó egy tökéletes szkeptikus. :)
Ez egyszerűen nem igaz. A fenti 5 pontos példámban a kísérletező a végső példára nézve a tíz kipróbált számhármas alapján 40%-ban végzett negatív kísérletet, míg 60% pozitív kimenetelűt. Ebből szerinted következik, hogy a saját pillanatnyi koncepcióját is hasonlóan enyhe pozitív bias-al tesztelte, pedig ez nem is igaz, hiszen az első 4 (általad pozitívnak számolt) kísérletben is negatív volt a szándéka. Összességében tehát 80%-ban végzett negatív kimenetelűt, ellentétben az általad mért 40%-al. Azaz a csávó egy tökéletes szkeptikus. :)
hvuk 2008.05.09. 09:47:23
András!
"tamás, úgy látom, csak nem tudsz elszakadni a "pillanatnyi hipotézis" gondolatától meg az ilyen-olyan szándékoktól. Nem érdekel, hogy kinek mikor milyen szándéka volt, csak a végkimenetel számít.
...
Tehát azt gondolom, hogy gyakorlatilag lehetetlen a döntéshozási folyamatot olyan szempontból értékelni, hogy valaki mikor mit várt, milyen elképzelést tesztelt és milyen szándékkal. Ez így nem megy.
...
Tehát azt tekintem confirmation biasnak, hogy a következtetést jóval több igenlő, mint nemleges válasz alapján vonták le."
Ez mind nagyon szép, de egy nagy gond van vele. Az eredeti kísérletben (legalábbis Wiki szerint, mert a pdf-et nincs időm elolvasni) a PILLANATNYI elképzeléshez képest nézték, hogy negatív vagy pozitív szándékkal, várhatólag megerősítő vagy pedig cáfoló számhármassal próbálkoztak. Ez alapján tekintették bizonyítottnak, hogy létezik a confirmation bias jelensége.
A te kísérleted azonban nem ezt méri, nem a PILLANATNYI, hanem egy hivatalos szabályhoz nézi, hogy annak megfelelt-e vagy sem. Tehát neked meg kellett volna mutatnod, hogy a két kísérlet egyenértékű és te is ugyanazt méred-e. Ezt te nem tetted meg, sőt, elég szép példákon és érveken keresztül bizonyítottuk, hogy a két kísérlet nem ugyanazt méri!
Innentől kezdve a kísérleted nem alkalmas a confirmation bias kimutatására vagy legalábbis messze nem olyan szinten mint az eredeti kísérlet.
Félreértés ne essék, én is biztos vagyok benne, hogy a confirmation bias erősen jeletkezett a kísérletedben, de nem a te kísérleted miatt vagyok biztos benne, hanem azért, mert volt már olyan kísérlet ami ezt alátámasztotta.
"tamás, úgy látom, csak nem tudsz elszakadni a "pillanatnyi hipotézis" gondolatától meg az ilyen-olyan szándékoktól. Nem érdekel, hogy kinek mikor milyen szándéka volt, csak a végkimenetel számít.
...
Tehát azt gondolom, hogy gyakorlatilag lehetetlen a döntéshozási folyamatot olyan szempontból értékelni, hogy valaki mikor mit várt, milyen elképzelést tesztelt és milyen szándékkal. Ez így nem megy.
...
Tehát azt tekintem confirmation biasnak, hogy a következtetést jóval több igenlő, mint nemleges válasz alapján vonták le."
Ez mind nagyon szép, de egy nagy gond van vele. Az eredeti kísérletben (legalábbis Wiki szerint, mert a pdf-et nincs időm elolvasni) a PILLANATNYI elképzeléshez képest nézték, hogy negatív vagy pozitív szándékkal, várhatólag megerősítő vagy pedig cáfoló számhármassal próbálkoztak. Ez alapján tekintették bizonyítottnak, hogy létezik a confirmation bias jelensége.
A te kísérleted azonban nem ezt méri, nem a PILLANATNYI, hanem egy hivatalos szabályhoz nézi, hogy annak megfelelt-e vagy sem. Tehát neked meg kellett volna mutatnod, hogy a két kísérlet egyenértékű és te is ugyanazt méred-e. Ezt te nem tetted meg, sőt, elég szép példákon és érveken keresztül bizonyítottuk, hogy a két kísérlet nem ugyanazt méri!
Innentől kezdve a kísérleted nem alkalmas a confirmation bias kimutatására vagy legalábbis messze nem olyan szinten mint az eredeti kísérlet.
Félreértés ne essék, én is biztos vagyok benne, hogy a confirmation bias erősen jeletkezett a kísérletedben, de nem a te kísérleted miatt vagyok biztos benne, hanem azért, mert volt már olyan kísérlet ami ezt alátámasztotta.
hvuk 2008.05.09. 09:59:32
"én tökéletesen értem, amit mondasz, de abban tévedsz, hogy a Wason-kísérletben a résztvevők hipotéziseihez képest értékelték a válaszokat aszerint, hogy azokhoz képest megerősítőek vagy cáfolóak voltak."
Ok, ha te pontosan reprodukáltad az eredeti kísérletet, akkor visszavonva az előző hozzászólásom. Akkor viszont sajnos nem tehetek mást, el kell olvasnom az eredeti pdf-et. Erre csak hétvégén lesz időm sajnos. :(
Viszont akkor az eredeti kísérletet nem értem.
Ok, ha te pontosan reprodukáltad az eredeti kísérletet, akkor visszavonva az előző hozzászólásom. Akkor viszont sajnos nem tehetek mást, el kell olvasnom az eredeti pdf-et. Erre csak hétvégén lesz időm sajnos. :(
Viszont akkor az eredeti kísérletet nem értem.
hvuk 2008.05.09. 10:00:34
András!
Hmm, közben kitörölted a hozzászólásodat amiből az előbb idéztem? Miért? Várható egy javított verzió? :)))
Hmm, közben kitörölted a hozzászólásodat amiből az előbb idéztem? Miért? Várható egy javított verzió? :)))
Szilágyi András 2008.05.09. 10:35:34
hvuk: sosem állítottam, hogy pontosan reprodukáltam az eredeti kísérletet, sőt, korábban már kifejezetten kijelentettem, hogy ez nem volt pontos reprodukálása az eredeti kísérletnek, csak az alapgondolatot használtam fel.
A hozzászólásomat, amiből idéztél, azért töröltem, mert még egyszer megnéztem a cikket, és Wasonék oda és vissza, előre és hátra, fel és le minden elképzelhető dolgot kiszámoltak és mindent mindenhez képest néztek. Ezért volt az ő kísérletük tudományos, az enyém meg nem. Az enyém csak illusztratív jellegű, egyrészt, mert nem is volt tudományosnak szánva, másrészt mert a technikai korlátok nem is teszik lehetővé a mindenre kiterjedő elemzést.
Azonban Wasonék is kiszámolták a negatív (nemleges) válaszok arányát, és ők is azt kapták, hogy akik hamarabb jöttek rá a helyes szabályra, azok több nemleges választ generáltak. Ennek alapján hangsúlyozzák, hogy ezeknél a résztvevőknél a negatív válaszok vezettek el a helyes megoldáshoz.
Az én kiértékelésem ignorálja a hipotézis előzetes fejlődését, és a számhármasokra kapott válaszokat úgy tekinti, mint a végső döntéshez felhasznált információkat. Azt látjuk, hogy a helytelen megoldást adók alig kaptak negatív válaszokat, és emögött vélhetően a confirmation bias áll. Azt is látjuk, hogy a helyes megoldást adók is viszonylag kevés negatív választ kaptak, bár többet, mint a helytelen megoldást adók, és ez arra utál, hogy náluk is működhetett a confirmation bias.
Tehát ahogy Tamásnak is írtam, a kísérletből kapott számszerű eredmény nem maga a confirmation bias számszerűsítve, hanem a bias létezésének közvetett demonstrálása, mert tudjuk, hogy alapvetően a confirmation bias van amögött, hogy az emberek kevés negatív válasszal is beérik.
Végső soron a Wason-kísérlet egyik számszerű végeredménye lett itt reprodukálva, és ennek alapján feltételezhető, hogy ugyanazok a mechanizmusok felelősek ezért a végeredményért, mint amelyeket a Wason-kísérletben részletesebb vizsgálattal közvetlenül is kimutattak.
A hozzászólásomat, amiből idéztél, azért töröltem, mert még egyszer megnéztem a cikket, és Wasonék oda és vissza, előre és hátra, fel és le minden elképzelhető dolgot kiszámoltak és mindent mindenhez képest néztek. Ezért volt az ő kísérletük tudományos, az enyém meg nem. Az enyém csak illusztratív jellegű, egyrészt, mert nem is volt tudományosnak szánva, másrészt mert a technikai korlátok nem is teszik lehetővé a mindenre kiterjedő elemzést.
Azonban Wasonék is kiszámolták a negatív (nemleges) válaszok arányát, és ők is azt kapták, hogy akik hamarabb jöttek rá a helyes szabályra, azok több nemleges választ generáltak. Ennek alapján hangsúlyozzák, hogy ezeknél a résztvevőknél a negatív válaszok vezettek el a helyes megoldáshoz.
Az én kiértékelésem ignorálja a hipotézis előzetes fejlődését, és a számhármasokra kapott válaszokat úgy tekinti, mint a végső döntéshez felhasznált információkat. Azt látjuk, hogy a helytelen megoldást adók alig kaptak negatív válaszokat, és emögött vélhetően a confirmation bias áll. Azt is látjuk, hogy a helyes megoldást adók is viszonylag kevés negatív választ kaptak, bár többet, mint a helytelen megoldást adók, és ez arra utál, hogy náluk is működhetett a confirmation bias.
Tehát ahogy Tamásnak is írtam, a kísérletből kapott számszerű eredmény nem maga a confirmation bias számszerűsítve, hanem a bias létezésének közvetett demonstrálása, mert tudjuk, hogy alapvetően a confirmation bias van amögött, hogy az emberek kevés negatív válasszal is beérik.
Végső soron a Wason-kísérlet egyik számszerű végeredménye lett itt reprodukálva, és ennek alapján feltételezhető, hogy ugyanazok a mechanizmusok felelősek ezért a végeredményért, mint amelyeket a Wason-kísérletben részletesebb vizsgálattal közvetlenül is kimutattak.
Szilágyi András 2008.05.09. 10:49:49
dunno: igen, úgy látszik, nem volt szerencsés ez a szóhasználat. Igazából közérthetően próbáltam fogalmazni, és el akartam kerülni, hogy a Wason-cikkben használt diszkonfirmálás, enumeratív indukció és ehhez hasonló szakkifejezéseket használjam. Félreérthetőre sikeredett. A következő cikkben majd megpróbálok kevésbé félreérthetően fogalmazni.
wice 2008.05.09. 10:57:15
Andras: szerintem ebben a kiserletben az emberek tobbsegenel egyszeruen azert volt tobb a pozitiv mint a negativ visszajelzesek szama osszesen, mert az elejen a szamtani sor iranyaba orientaltad oket, es emiatt olyan hipoteziseken keresztul jutottak el a megoldasig (mar aki egyaltalan eljutott), amiknel a megerositeni ill cafolni szandekozo probak egyarant jo esellyel novekvo szamsorokbol allnak. meg ha vki minden uj hipotezisenel tokeletesen emlekszik ra, h hany korabbi megerositest kapott az uj hipotezisre, azaz nem vegez ra ujabb megerosito probat, csak cafolokat, akkor is nagy a valoszinusege, h ha olyan uton halad, akkor a cafolo probak is pozitiv eredmenyt adnak.
ha nagyon ragaszkodsz ahhoz az elkepzelesedhez, amit itt vazoltal (es aminek - ahogy mar tobben is felhivtuk ra a figyelmed - semmi koze wason eredeti kovetkeztetesehez), es ezt rendesen be is akarod bizonyitani, nem csak csokonyosen ragaszkodni hozza, akkor kenytelen leszel tobb kiserletet is vegezni, pl olyanokat is, ahol az elejen a negativ tartomanybol indulnak a kiserletezok, es a megoldas fele halado varhato munkahipotezisek jo esellyel adnak mind a megerosito, mind a cafolo probakra negativ eredmenyt. ha egy ilyen kiserletnel az jonne ki, h az emberek tobbsege, miutan rengeteg negativ eredmenyt hozo proba utan eljut a helyes hipotezisig, osztonosen kiegyenliti, v tobbsegbe hozza a pozitiv eredmenyek szamat, akkor azt mondanam, van valami az elkepzelesedben. egyelore azonban csak a te makacsul fenntartott (es wason kiserlete altal nem alatamasztott) velemenyedre hagyatkozhatunk, ami - minden tisztelet mellett - sajnos nem eleg.
ha nagyon ragaszkodsz ahhoz az elkepzelesedhez, amit itt vazoltal (es aminek - ahogy mar tobben is felhivtuk ra a figyelmed - semmi koze wason eredeti kovetkeztetesehez), es ezt rendesen be is akarod bizonyitani, nem csak csokonyosen ragaszkodni hozza, akkor kenytelen leszel tobb kiserletet is vegezni, pl olyanokat is, ahol az elejen a negativ tartomanybol indulnak a kiserletezok, es a megoldas fele halado varhato munkahipotezisek jo esellyel adnak mind a megerosito, mind a cafolo probakra negativ eredmenyt. ha egy ilyen kiserletnel az jonne ki, h az emberek tobbsege, miutan rengeteg negativ eredmenyt hozo proba utan eljut a helyes hipotezisig, osztonosen kiegyenliti, v tobbsegbe hozza a pozitiv eredmenyek szamat, akkor azt mondanam, van valami az elkepzelesedben. egyelore azonban csak a te makacsul fenntartott (es wason kiserlete altal nem alatamasztott) velemenyedre hagyatkozhatunk, ami - minden tisztelet mellett - sajnos nem eleg.
Szilágyi András 2008.05.09. 11:02:22
Egy érdekes adalék még, hogy Wason a cikkében nem is használta a confirmation bias kifejezést, nem definiálta, és nem vezetett be rá mérőszámot. Bevezet egy mennyiséget, amit eliminatív/enumeratív indexnek nevez, ezt lehetne a bias mérőszámának tekinteni, de ezt mi nem tudjuk kiszámolni.
wice 2008.05.09. 11:19:00
Andras: az, h Wasonek is azt kaptak, h _ennel_ a kiserletnel tobb volt , meg nem jelent semmit, mert nem ebbol vontak le a confirmation bias letezesere vonatkozo kovetkeztetest.
probalom egy kepletesebb peldaval illusztralni, mirol van szo: vegezzunk egy olyan kiserletet, h vkit megkerunk, legalabb nagyjabol terkepezze fel a szlovak-magyar hatar vonalat oly modon, h szabadon koborol, es amikor epp kedve tartja, megkerdez vkit, h ez itt most magyarorszag v szlovakia (az egyeb valaszoktol most tekintsunk el). inditsuk a csavot monnyuk pecsrol. ilyen esetben egyszeruen garantalt, h tobb "magyarorszag" valaszt fog kapni, mint "szlovakia" valaszt, mert vhogy el kell jutnia a hatarig, es ezalatt akkumulalodik a "magyarorszag" valaszok szama. a hataron aztan hiaba csinal mindket oldalon egyenlo szamu probat, attol meg a "magyarorszag" valaszok tobbsegben maradnak, es ha csak nem teljesen hulye, nem fogja a biztonsag kedveert bejarni egesz szlovakiat, csak azert, h kiegyenlitse a ket erteket. ezutan te levonhatnad a kovetkeztetest, h az embereknek "magyarorszag" biasuk van, pusztan abbol kiindulva, h a kiserletedben mindenkit pecsrol inditottal. pedig ha vmi eszak-szlovakiai varosbol inditanad oket, akkor nyilvan "szlovakia" biast kapnal.
ha ezek utan se erted, akkor attol tartok, nem tudlak meggyozni.
probalom egy kepletesebb peldaval illusztralni, mirol van szo: vegezzunk egy olyan kiserletet, h vkit megkerunk, legalabb nagyjabol terkepezze fel a szlovak-magyar hatar vonalat oly modon, h szabadon koborol, es amikor epp kedve tartja, megkerdez vkit, h ez itt most magyarorszag v szlovakia (az egyeb valaszoktol most tekintsunk el). inditsuk a csavot monnyuk pecsrol. ilyen esetben egyszeruen garantalt, h tobb "magyarorszag" valaszt fog kapni, mint "szlovakia" valaszt, mert vhogy el kell jutnia a hatarig, es ezalatt akkumulalodik a "magyarorszag" valaszok szama. a hataron aztan hiaba csinal mindket oldalon egyenlo szamu probat, attol meg a "magyarorszag" valaszok tobbsegben maradnak, es ha csak nem teljesen hulye, nem fogja a biztonsag kedveert bejarni egesz szlovakiat, csak azert, h kiegyenlitse a ket erteket. ezutan te levonhatnad a kovetkeztetest, h az embereknek "magyarorszag" biasuk van, pusztan abbol kiindulva, h a kiserletedben mindenkit pecsrol inditottal. pedig ha vmi eszak-szlovakiai varosbol inditanad oket, akkor nyilvan "szlovakia" biast kapnal.
ha ezek utan se erted, akkor attol tartok, nem tudlak meggyozni.
hvuk 2008.05.09. 11:23:09
András!
"Azonban Wasonék is kiszámolták a negatív (nemleges) válaszok arányát, és ők is azt kapták, hogy akik hamarabb jöttek rá a helyes szabályra, azok több nemleges választ generáltak. Ennek alapján hangsúlyozzák, hogy ezeknél a résztvevőknél a negatív válaszok vezettek el a helyes megoldáshoz."
Teljesen egyetértek. És ezt tisztán látszik a te kísérletedben is.
"Az én kiértékelésem ignorálja a hipotézis előzetes fejlődését, és a számhármasokra kapott válaszokat úgy tekinti, mint a végső döntéshez felhasznált információkat. Azt látjuk, hogy a helytelen megoldást adók alig kaptak negatív válaszokat, és emögött vélhetően a confirmation bias áll."
Ezzel is egyetértek.
"Azt is látjuk, hogy a helyes megoldást adók is viszonylag kevés negatív választ kaptak, bár többet, mint a helytelen megoldást adók, és ez arra utál, hogy náluk is működhetett a confirmation bias."
Ezzel viszont nem. Persze, biztos volt ott is confirmation bias. De nem ezért (illetve nem elsősorban ezért) lett csak 35% a cáfoló kísérletek aránya, hanem inkább azért, mert a kezdetben feltételezett szabályokra alkalmazott negatív próbák pozitívak voltak a te általad adott szabályra.
Mondok egy nagyon egyszerű példát. Ha valaki szűkítő szabályt keres, akkor a kiinduló szabály vélhetőleg az lesz, hogy "a sorozat monotosn növekvő". Ezt ezután lecsekkeli néhány méréssel (mondjuk az összes negatív, azaz csupa nem szig. mon. növekvő sorozatot ad meg). Csinál x darab negatív próbát (ami persze egyúttal negatív az igazi szabályra is), majd ezután elfogadja, hogy a sorozatnak mindenképp szig. mon. növekvőnek kell lennie. Most akkor ezt megpróbálja szűkíteni és elkezd speciális szig. mon. növekvő sorozatokat tesztelni. Baromi sokat tesztel, mert elég szig. mon. növekvő sorozat van. :) Ezen tesztek mindegyikében szig. mon. növekvő sorozatokat tesztel, hiszen tudja, hogy a nem szig. mon. növekvő sorozatok nem az aktuális feltevést cáfolnák, hanem csak a már kitalált nagyon bő szabályt. Ha mondjuk ebben a fázisban 3*x különböző sorozatot tesztel, akkor összesen 4*x kísérletet végzett, aminek mindösszesen 25%-a volt negatív az általad gondolt szabályra vonatkoztatva, de kivétel nélkül az összes negatív volt az általa éppen tesztelni szándékozott teóriára vonatkoztatva. 25% vs. 100%. A tesztelő egyetlen pozitív, azaz megerősítést váró kísérletet sem végzett, te mégis 75% ilyet kaptál.
Fontos látni, hogy egyetlen ilyen ellenpélda cáfolja a feltevéseket (miszerint a sok pozitív kimenetelú kísérlet egyelten oka a pozitív bias lenne), de mi nem egy ilyet hoztunk, hanem jó sokat. Ráadásul elméleti megfontolásokat is hoztunk, amik szintén ez ellen szólnak.
Fontos látni, hogy nem azt állítopm, hogy a helyes választ adóknál nem volt bias, hanem azt, hogy a 35% negatív arány nem a bias miatt volt csak, illetve inkább úgy mondom, hogy elsősorban. Ez sokkal inkább adódott a feladat jellegéből.
A feladat arra is jó volt, hogy felhívja a figyelmet a pozitív biasra, elgondolkodtasson gondolkodásunk korlátairól és vitát generáljon. Jó volt arra is, hogy a helyes és helytelen választ adók gondolkodásmódja közti különbségekre felhívja a figyelmet. A bias bizonyítására vagy korrekt kimutatására azonban alkalmatlan volt a fenti megfontolások miatt.
"Azonban Wasonék is kiszámolták a negatív (nemleges) válaszok arányát, és ők is azt kapták, hogy akik hamarabb jöttek rá a helyes szabályra, azok több nemleges választ generáltak. Ennek alapján hangsúlyozzák, hogy ezeknél a résztvevőknél a negatív válaszok vezettek el a helyes megoldáshoz."
Teljesen egyetértek. És ezt tisztán látszik a te kísérletedben is.
"Az én kiértékelésem ignorálja a hipotézis előzetes fejlődését, és a számhármasokra kapott válaszokat úgy tekinti, mint a végső döntéshez felhasznált információkat. Azt látjuk, hogy a helytelen megoldást adók alig kaptak negatív válaszokat, és emögött vélhetően a confirmation bias áll."
Ezzel is egyetértek.
"Azt is látjuk, hogy a helyes megoldást adók is viszonylag kevés negatív választ kaptak, bár többet, mint a helytelen megoldást adók, és ez arra utál, hogy náluk is működhetett a confirmation bias."
Ezzel viszont nem. Persze, biztos volt ott is confirmation bias. De nem ezért (illetve nem elsősorban ezért) lett csak 35% a cáfoló kísérletek aránya, hanem inkább azért, mert a kezdetben feltételezett szabályokra alkalmazott negatív próbák pozitívak voltak a te általad adott szabályra.
Mondok egy nagyon egyszerű példát. Ha valaki szűkítő szabályt keres, akkor a kiinduló szabály vélhetőleg az lesz, hogy "a sorozat monotosn növekvő". Ezt ezután lecsekkeli néhány méréssel (mondjuk az összes negatív, azaz csupa nem szig. mon. növekvő sorozatot ad meg). Csinál x darab negatív próbát (ami persze egyúttal negatív az igazi szabályra is), majd ezután elfogadja, hogy a sorozatnak mindenképp szig. mon. növekvőnek kell lennie. Most akkor ezt megpróbálja szűkíteni és elkezd speciális szig. mon. növekvő sorozatokat tesztelni. Baromi sokat tesztel, mert elég szig. mon. növekvő sorozat van. :) Ezen tesztek mindegyikében szig. mon. növekvő sorozatokat tesztel, hiszen tudja, hogy a nem szig. mon. növekvő sorozatok nem az aktuális feltevést cáfolnák, hanem csak a már kitalált nagyon bő szabályt. Ha mondjuk ebben a fázisban 3*x különböző sorozatot tesztel, akkor összesen 4*x kísérletet végzett, aminek mindösszesen 25%-a volt negatív az általad gondolt szabályra vonatkoztatva, de kivétel nélkül az összes negatív volt az általa éppen tesztelni szándékozott teóriára vonatkoztatva. 25% vs. 100%. A tesztelő egyetlen pozitív, azaz megerősítést váró kísérletet sem végzett, te mégis 75% ilyet kaptál.
Fontos látni, hogy egyetlen ilyen ellenpélda cáfolja a feltevéseket (miszerint a sok pozitív kimenetelú kísérlet egyelten oka a pozitív bias lenne), de mi nem egy ilyet hoztunk, hanem jó sokat. Ráadásul elméleti megfontolásokat is hoztunk, amik szintén ez ellen szólnak.
Fontos látni, hogy nem azt állítopm, hogy a helyes választ adóknál nem volt bias, hanem azt, hogy a 35% negatív arány nem a bias miatt volt csak, illetve inkább úgy mondom, hogy elsősorban. Ez sokkal inkább adódott a feladat jellegéből.
A feladat arra is jó volt, hogy felhívja a figyelmet a pozitív biasra, elgondolkodtasson gondolkodásunk korlátairól és vitát generáljon. Jó volt arra is, hogy a helyes és helytelen választ adók gondolkodásmódja közti különbségekre felhívja a figyelmet. A bias bizonyítására vagy korrekt kimutatására azonban alkalmatlan volt a fenti megfontolások miatt.
hvuk 2008.05.09. 11:32:13
Wice!
Nagyon jó az országos példád! Én is sokat gondolkodtam már valami hasonlón, de még nem jöttem ráhasonlóra!
Ja igen, azt kell látni, hogy Watsonéknál tök érdektelen volt a szabály amit ők kitaláltak, lehetett volna az is, hogy csak a páros számok jók vagy az is, hogy f(1) = tetszőleges, f(n) = (n-2)*f(n-1)/2 + 4. András kísérletében viszont ez nyilván nem mindegy.
Nagyon jó az országos példád! Én is sokat gondolkodtam már valami hasonlón, de még nem jöttem ráhasonlóra!
Ja igen, azt kell látni, hogy Watsonéknál tök érdektelen volt a szabály amit ők kitaláltak, lehetett volna az is, hogy csak a páros számok jók vagy az is, hogy f(1) = tetszőleges, f(n) = (n-2)*f(n-1)/2 + 4. András kísérletében viszont ez nyilván nem mindegy.
Szilágyi András 2008.05.09. 11:43:49
wice: stimmel, de az továbbra is fennáll, hogy minél pontosabban sikerül valakinek feltérképeznie a határvonalat, annál nagyobb lesz az általa talált szlovákiai pontok aránya (és konvergálni fog 50%-hoz). Azonkívül a hasonlat annyiban sántít, hogy feltételezed, hogy Pécsről nem lehet egyből a határ közelébe ugrani.
hvuk: Úgy látom, éles különbséget teszel a helytelen és a helyes választ adók között, mert a helytelen választ adók esetében elfogadod, hogy a confirmation bias a magyarázat, a helyes választ adók esetében viszont nem. De mi van, ha én most elárulom, hogy hazudtam, nem az volt a szabály, hogy növekvő számsort kell megadni, hanem azt, hogy vagy növekvő számsort kell megadni, vagy mínusz ezernél kisebb tetszőleges számokat? Minden adat marad a régi, és nem lesz senki, aki helyes megoldást adott volna. A helyes és helytelen választ adók között nem minőségi, hanem mennyiségi különbség van: a helyes választ adók közelebb jutottak a megoldáshoz.
hvuk: Úgy látom, éles különbséget teszel a helytelen és a helyes választ adók között, mert a helytelen választ adók esetében elfogadod, hogy a confirmation bias a magyarázat, a helyes választ adók esetében viszont nem. De mi van, ha én most elárulom, hogy hazudtam, nem az volt a szabály, hogy növekvő számsort kell megadni, hanem azt, hogy vagy növekvő számsort kell megadni, vagy mínusz ezernél kisebb tetszőleges számokat? Minden adat marad a régi, és nem lesz senki, aki helyes megoldást adott volna. A helyes és helytelen választ adók között nem minőségi, hanem mennyiségi különbség van: a helyes választ adók közelebb jutottak a megoldáshoz.
Szilágyi András 2008.05.09. 11:46:34
"azt kell látni, hogy Watsonéknál tök érdektelen volt a szabály amit ők kitaláltak, lehetett volna az is, hogy csak a páros számok jók vagy az is, hogy f(1) = tetszőleges, f(n) = (n-2)*f(n-1)/2 + 4."
Erről szó sincs, Wason leírja, hogy szándékosan olyan szabályt választott, amivel megnövelte a téves hipotézisek gyártásának esélyét, ez egy alapvető módszertani megfontolás volt.
Erről szó sincs, Wason leírja, hogy szándékosan olyan szabályt választott, amivel megnövelte a téves hipotézisek gyártásának esélyét, ez egy alapvető módszertani megfontolás volt.
wice 2008.05.09. 12:00:04
Andras: "stimmel, de az továbbra is fennáll, hogy minél pontosabban sikerül valakinek feltérképeznie a határvonalat, annál nagyobb lesz az általa talált szlovákiai pontok aránya (és konvergálni fog 50%-hoz)."
(sohaj) sejtettem, h fenn fogsz akadni azon, h a szlovak-magyar hatar szabalytalan, ezert nagyon sok ponton kell felterkepezni, h viszonylag pontos erteket kapj. az a kulonbseg, h a te kiserletedben mindenki joggal feltetelezi, h nem annyira bonyolult a hatarvonal (hiszen senkinek sincs vegtelen ideje felterkepezni), azaz egy egyszeru szabalyt keres, ami geografiailag megfelel monnyuk egy egyenes vonalnak. azt pedig sokkal kevesebb probabol is viszonylag pontosan be lehet loni, azaz kicsi az eselye, h barkinel is 50% kozelebe keruljon a kezdeti egyoldalu probalkozasok utan.
"Azonkívül a hasonlat annyiban sántít, hogy feltételezed, hogy Pécsről nem lehet egyből a határ közelébe ugrani."
erre is szamitottam... nezd, ez csak egy egyszeru, kepletes pelda volt. amikor matematikai szabalyt keresel, nyilvan nem egyesevel lepkedsz, viszont a keresett szabaly es a kiindulopont viszonylag pontosan meghataroz egy logikus, egymas utan kovetkezo munkahipotezisekbol allo utat. ha ez a varhato ut tortenetesen olyan hipotezisekbol all, amelyeknek a logikus megerosito es cafolo probalkozasai egyarant pozitiv eredmenyeket adnak, akkor pont ugyanugy akkumulalodnak majd a pozitiv eredmenyek, aztan, amikor mar megvan a helyes hipotezis, de meg nem tudunk rola, viszonylag keves pozitiv es negativ probabol mar osszeall a kep. mondom, ki kene probalnod, mi van, ha negativ iranybol kell kozeliteni az embereknek.
(sohaj) sejtettem, h fenn fogsz akadni azon, h a szlovak-magyar hatar szabalytalan, ezert nagyon sok ponton kell felterkepezni, h viszonylag pontos erteket kapj. az a kulonbseg, h a te kiserletedben mindenki joggal feltetelezi, h nem annyira bonyolult a hatarvonal (hiszen senkinek sincs vegtelen ideje felterkepezni), azaz egy egyszeru szabalyt keres, ami geografiailag megfelel monnyuk egy egyenes vonalnak. azt pedig sokkal kevesebb probabol is viszonylag pontosan be lehet loni, azaz kicsi az eselye, h barkinel is 50% kozelebe keruljon a kezdeti egyoldalu probalkozasok utan.
"Azonkívül a hasonlat annyiban sántít, hogy feltételezed, hogy Pécsről nem lehet egyből a határ közelébe ugrani."
erre is szamitottam... nezd, ez csak egy egyszeru, kepletes pelda volt. amikor matematikai szabalyt keresel, nyilvan nem egyesevel lepkedsz, viszont a keresett szabaly es a kiindulopont viszonylag pontosan meghataroz egy logikus, egymas utan kovetkezo munkahipotezisekbol allo utat. ha ez a varhato ut tortenetesen olyan hipotezisekbol all, amelyeknek a logikus megerosito es cafolo probalkozasai egyarant pozitiv eredmenyeket adnak, akkor pont ugyanugy akkumulalodnak majd a pozitiv eredmenyek, aztan, amikor mar megvan a helyes hipotezis, de meg nem tudunk rola, viszonylag keves pozitiv es negativ probabol mar osszeall a kep. mondom, ki kene probalnod, mi van, ha negativ iranybol kell kozeliteni az embereknek.
hvuk 2008.05.09. 12:52:36
András!
"Úgy látom, éles különbséget teszel a helytelen és a helyes választ adók között, mert a helytelen választ adók esetében elfogadod, hogy a confirmation bias a magyarázat, a helyes választ adók esetében viszont nem."
Igen, mert felteszem, hogy a helyes válaszolók nem azért találták meg a megoldást, mert szerencséjük volt, hanem azért, mert valamiféleképpen "jobban" gondolkodtak. Logikusan például. Meg módszeresen. Persze átírhatod a szabályt, de akkor csak azok találták volna ki, akik megnézik a javsciptet (azaz akik "csaltak").
Mellesleg én nem mondom azt, hogy a helyes válaszolóknák nincs confirmation bias, hanem azt mondom, hogy ennek kimutatására/bizonyítására a te kísérleted nem alkalmas.
"A helyes és helytelen választ adók között nem minőségi, hanem mennyiségi különbség van: a helyes választ adók közelebb jutottak a megoldáshoz."
Ez nyilván nem igaz: ha így lenne, akkor mondjuk a matek érettségin maximális és nulla pontot kapó közt sem lenne minőségi különbség, hanem csak mennyiségi.
Tényleg, az általunk írt példákra miért nem válaszolsz? Azokból teljesen jól kijön, hogy egyáltalán nem kellene a pozitív és negatív kísérletek számának 50%-osnak lennie. A végtelenben vett határértéke valóban annyi lenne, de ez semmiben nem támasztja alá, hogy véges érték esetén is annyinak kellene lennie a várható értéknek. Annyira nem, hogy a 35% körüli érték szerintem egy kimondottan jó eredmény, ha engem kérdezel, akkor mindenféle bias nélkül ennékevese lenne az elvárható.
"Úgy látom, éles különbséget teszel a helytelen és a helyes választ adók között, mert a helytelen választ adók esetében elfogadod, hogy a confirmation bias a magyarázat, a helyes választ adók esetében viszont nem."
Igen, mert felteszem, hogy a helyes válaszolók nem azért találták meg a megoldást, mert szerencséjük volt, hanem azért, mert valamiféleképpen "jobban" gondolkodtak. Logikusan például. Meg módszeresen. Persze átírhatod a szabályt, de akkor csak azok találták volna ki, akik megnézik a javsciptet (azaz akik "csaltak").
Mellesleg én nem mondom azt, hogy a helyes válaszolóknák nincs confirmation bias, hanem azt mondom, hogy ennek kimutatására/bizonyítására a te kísérleted nem alkalmas.
"A helyes és helytelen választ adók között nem minőségi, hanem mennyiségi különbség van: a helyes választ adók közelebb jutottak a megoldáshoz."
Ez nyilván nem igaz: ha így lenne, akkor mondjuk a matek érettségin maximális és nulla pontot kapó közt sem lenne minőségi különbség, hanem csak mennyiségi.
Tényleg, az általunk írt példákra miért nem válaszolsz? Azokból teljesen jól kijön, hogy egyáltalán nem kellene a pozitív és negatív kísérletek számának 50%-osnak lennie. A végtelenben vett határértéke valóban annyi lenne, de ez semmiben nem támasztja alá, hogy véges érték esetén is annyinak kellene lennie a várható értéknek. Annyira nem, hogy a 35% körüli érték szerintem egy kimondottan jó eredmény, ha engem kérdezel, akkor mindenféle bias nélkül ennékevese lenne az elvárható.
hvuk 2008.05.09. 12:59:22
Közben rájöttem, hogy milyen módon lehet ezt jobban megvilágítani.
Te azt teszed fel, hogy amikor negatívan tesztelünk (azaz olyan számhármasra teszteljük amely várhatóan nem fog megfelelni a szabályunknak), akkor teljesen véletlenszerűen választunk a felmerülő összes számhármas közül. Ez azonban messze nem igaz. De ezt a jelenséget nem szabad összekeverni a confirmation bias-al.
Te azt teszed fel, hogy amikor negatívan tesztelünk (azaz olyan számhármasra teszteljük amely várhatóan nem fog megfelelni a szabályunknak), akkor teljesen véletlenszerűen választunk a felmerülő összes számhármas közül. Ez azonban messze nem igaz. De ezt a jelenséget nem szabad összekeverni a confirmation bias-al.
nyari mikulas (törölt) 2008.05.09. 13:02:18
tamas: "A szabályt a válaszolók 55,2%-a helyesen határozta meg! Ezekben az esetekben elfogultsag elfogultsagot feltetelezni, es teves a "megmutatta, hogyan lovaljuk bele magunkat tévhitekbe" allitas."
Andras: "Még mindig ott van a 45%, akinél megmutatta. És az 55% jó része sem gondolkodott alapvetően másképp."
Szerintem ez a valasz a confirmation bias iskolapeldaja, a kiserletezo az adatok 55%-at az asztal ala sopri, mert azok nem erositik az o hipoteziset.
"Confirmation bias refers to a type of selective thinking whereby one tends to notice and to look for what confirms one's beliefs, and to ignore, not look for, or undervalue the relevance of what contradicts one's beliefs."
Andras: "Még mindig ott van a 45%, akinél megmutatta. És az 55% jó része sem gondolkodott alapvetően másképp."
Szerintem ez a valasz a confirmation bias iskolapeldaja, a kiserletezo az adatok 55%-at az asztal ala sopri, mert azok nem erositik az o hipoteziset.
"Confirmation bias refers to a type of selective thinking whereby one tends to notice and to look for what confirms one's beliefs, and to ignore, not look for, or undervalue the relevance of what contradicts one's beliefs."
Szilágyi András 2008.05.09. 13:04:00
wice: érdekes, hogy egyfelől azt mondod, hogy az emberek egyszerű szabályt feltételeznek, másfelől viszont azt, hogy bonyolult eljutni a szabályhoz. Egy ilyen feladatnál ha azt látom, hogy már húsz hipotézist elvetettem, akkor ha végre rátalálok a helyes megoldásra, akkor nem feltételezem, hogy ez viszont pofonegyszerű és elintézhetem kevés próbával, hanem arra gondolok, hogy jobb lesz ezt alaposabban megvizsgálni, hátha ez is csapda.
De megnézhetjük az abszolút számokat is. A szabály egy nagyság szerinti reláció volt a három szám között. Három számot nagyság szerint hatféle sorrendbe lehet állítani, és négyféle módon egyenlőség is lehet köztük, az egyenlőség és egyenlőtlenség kombinálásával már összesen 13 lehetséges reláció létezik. A szabálynak egy felel meg, tehát ha valaki legalább egy próbát szeretne szentelni az "a kisebb b kisebb c" szabály negatív ellenőrzésére, akkor minimum tizenkét ellenpróbát kell csinálnia. A kísérletben a helyes választ adóknak csak 15%-a végzett legalább ennyi ellenpróbát. Egynegyedük kapott 9 vagy több nemleges választ. 22 százalékuk pedig legfeljebb 3 nemleges választ kapott, és ennek alapján vonta le az (egyébként helyes) következtetést. Tehát a helyes választ adók jó része messze nem végzett alapos munkát.
De megnézhetjük az abszolút számokat is. A szabály egy nagyság szerinti reláció volt a három szám között. Három számot nagyság szerint hatféle sorrendbe lehet állítani, és négyféle módon egyenlőség is lehet köztük, az egyenlőség és egyenlőtlenség kombinálásával már összesen 13 lehetséges reláció létezik. A szabálynak egy felel meg, tehát ha valaki legalább egy próbát szeretne szentelni az "a kisebb b kisebb c" szabály negatív ellenőrzésére, akkor minimum tizenkét ellenpróbát kell csinálnia. A kísérletben a helyes választ adóknak csak 15%-a végzett legalább ennyi ellenpróbát. Egynegyedük kapott 9 vagy több nemleges választ. 22 százalékuk pedig legfeljebb 3 nemleges választ kapott, és ennek alapján vonta le az (egyébként helyes) következtetést. Tehát a helyes választ adók jó része messze nem végzett alapos munkát.
D 2008.05.09. 13:07:19
Kedves András,
az én konkrét kísérleteim a következők voltak (mellette a céljuk):
2,4,6 (igaz-e a kiinduló állítás, megy-e a teszt Konqueror alatt)
2,4,8 (a_n=a_{n-1}+2 cáfolata)
1,3,5 (a_n=2k cáfolata)
1,15,15667 (a_n="valami algebrai bűvészkedés" cáfolata)
6,4,2 (a<=b<=c cáfolata)
3,4,4 (második egyenlőség cáfolata)
3,3,4 (első egyenlőség cáfolata)
15453,3456245,62456344 (nagy számok jók cáfolata)
-132,-45,-34 (negatív számokra is ua. szabály cáfolata)
9 teszt, ebből 8db célozta a cáfolást (mivel matematikai területen tevékenykedő informatikus vagyok), a statisztikában a 66%-os pozitív eredményemmel az erősen bias-os kategóriát erősítem, pedig ténylegesen 22%-os pozitív eredményem volt. Az első kísérletem célja nem egyértelműen pozitív vagy negatív, ha a többire koncentrálunk, akkor 100% cáfoló kísérletet tettem (ugyanis formálisan tudom, hogy ha van egy jónak tűnő hipotézisem, akkor azzal mit kell kezdeni).
Mindenesetre a kísérleted alapján kikísérleteztük, hogy nálad erősen érvényesül a pozitív bias (és a formális, szemléletes, stb ellenpéldákat is igyekszel máshogy magyarázni és beépíteni az elméletedbe).
(az egynél több jegyű számokra nem emlékszem, azokat most csak hasból írtam - lehet, hogy ezeken felül volt még néhány cáfolást célzó kísérletem)
az én konkrét kísérleteim a következők voltak (mellette a céljuk):
2,4,6 (igaz-e a kiinduló állítás, megy-e a teszt Konqueror alatt)
2,4,8 (a_n=a_{n-1}+2 cáfolata)
1,3,5 (a_n=2k cáfolata)
1,15,15667 (a_n="valami algebrai bűvészkedés" cáfolata)
6,4,2 (a<=b<=c cáfolata)
3,4,4 (második egyenlőség cáfolata)
3,3,4 (első egyenlőség cáfolata)
15453,3456245,62456344 (nagy számok jók cáfolata)
-132,-45,-34 (negatív számokra is ua. szabály cáfolata)
9 teszt, ebből 8db célozta a cáfolást (mivel matematikai területen tevékenykedő informatikus vagyok), a statisztikában a 66%-os pozitív eredményemmel az erősen bias-os kategóriát erősítem, pedig ténylegesen 22%-os pozitív eredményem volt. Az első kísérletem célja nem egyértelműen pozitív vagy negatív, ha a többire koncentrálunk, akkor 100% cáfoló kísérletet tettem (ugyanis formálisan tudom, hogy ha van egy jónak tűnő hipotézisem, akkor azzal mit kell kezdeni).
Mindenesetre a kísérleted alapján kikísérleteztük, hogy nálad erősen érvényesül a pozitív bias (és a formális, szemléletes, stb ellenpéldákat is igyekszel máshogy magyarázni és beépíteni az elméletedbe).
(az egynél több jegyű számokra nem emlékszem, azokat most csak hasból írtam - lehet, hogy ezeken felül volt még néhány cáfolást célzó kísérletem)
Szilágyi András 2008.05.09. 13:08:48
tamás: nem tudom, mi confirmation bias abban, hogy azt mondom, hogy azoknál mutatott meg valamit a kísérlet, akiknél megmutatta.
Szilágyi András 2008.05.09. 13:13:19
D: ezt kár volt beírni, már túltárgyaltuk, neked is a 10:35-ös hozzászólásomat ajánlom.
Szilágyi András 2008.05.09. 13:15:39
"Te azt teszed fel, hogy amikor negatívan tesztelünk (azaz olyan számhármasra teszteljük amely várhatóan nem fog megfelelni a szabályunknak), akkor teljesen véletlenszerűen választunk a felmerülő összes számhármas közül."
Dehogy teszem fel, ezt nem tudom, honnét veszed.
Dehogy teszem fel, ezt nem tudom, honnét veszed.
D 2008.05.09. 13:22:26
Nem tárgyaltuk túl, mert a 10:35-ös bejegyzésednek is ellentmond, amit írtam (és sokan mások is írtak). Az én válaszaim alapján a statisztikád a biasosságot (vagy közvetett hatását) támasztja alá. Kérlek írd le, hogy konkrétan mely számhármasaim jelentik nálam a biast (azon kívül, hogy kevés van belőlük, és az időráfordítás miatt a perverz kivételeket nem kezdtem el keresni - ami egyébként megint sok pozitív kísérletet szült volna).
nyari mikulas (törölt) 2008.05.09. 13:25:04
Andras: az a confirmation bias, hogy a kiserleted nem azt mutatta, amit Te neki tulajdonitasz. Ezt tobben sokfelekeppen probaljuk belattatni veled.
A bias az, ha a jatekos nem vesz figyelembe a hipotezisenek ellentmondo adatot, illetve az, ha nem tesztel olyan lehetoseget, amitol negativ eredmenyt var.
Te nem azt szamoltad, hogy a jatekos tesztelt-e a sajat hipotezisenek ellentmondo adatot.
A bias az, ha a jatekos nem vesz figyelembe a hipotezisenek ellentmondo adatot, illetve az, ha nem tesztel olyan lehetoseget, amitol negativ eredmenyt var.
Te nem azt szamoltad, hogy a jatekos tesztelt-e a sajat hipotezisenek ellentmondo adatot.
Szilágyi András 2008.05.09. 13:27:13
D: például az előbb említett 12-féle lehetséges ellenpróbából csak 3-at teszteltél.
Szilágyi András 2008.05.09. 13:29:32
tamás, olvassál vissza és ne gyere újra elő ezerszer megválaszolt dolgokkal, mert baromi fárasztó.
nyari mikulas (törölt) 2008.05.09. 13:31:23
"D: például az előbb említett 12-féle lehetséges ellenpróbából csak 3-at teszteltél."
A kiserletben nem ezt merted!
Andras: nem azt vitatjuk, hogy van-e confirmation bias. Egyetertunk abban hogy van.
Azt vitatjuk, hogy a kiserletedben azt merted-e. Szerintunk nem.
A kiserletben nem ezt merted!
Andras: nem azt vitatjuk, hogy van-e confirmation bias. Egyetertunk abban hogy van.
Azt vitatjuk, hogy a kiserletedben azt merted-e. Szerintunk nem.
nyari mikulas (törölt) 2008.05.09. 13:33:20
Andras, ne folenyeskedj, semmi alapod nincs ra. Megvalaszoltad, igen, de nem fogadjuk el a valaszt, es azt probaljuk magyarazni, hogy miert es hol tevedsz.
Valoban faraszto.
Valoban faraszto.
Szilágyi András 2008.05.09. 13:35:40
tamás, dehogyisnem ezt mértem, a nem válaszok számát mértem, ha 12 nem kell valamihez és csak 3 van, az nem elég.
nyari mikulas (törölt) 2008.05.09. 13:36:55
"tamás: nem tudom, mi confirmation bias abban, hogy azt mondom, hogy azoknál mutatott meg valamit a kísérlet, akiknél megmutatta. "
Ezt irtad: Andras: "Még mindig ott van a 45%, akinél megmutatta. És az 55% jó része sem gondolkodott alapvetően másképp."
A 45 szazalek alapjan altalanositasz a masik 55-re is, ahol szerintunk a kiserleted nem volt alakalmas arra, hogy kimutassa a biast.
Kierlet-tervezesi hiba.
Ezt irtad: Andras: "Még mindig ott van a 45%, akinél megmutatta. És az 55% jó része sem gondolkodott alapvetően másképp."
A 45 szazalek alapjan altalanositasz a masik 55-re is, ahol szerintunk a kiserleted nem volt alakalmas arra, hogy kimutassa a biast.
Kierlet-tervezesi hiba.
Szilágyi András 2008.05.09. 13:40:07
tamás, világosan elmondtam, miért látszik a bias az 55% jó részénél is, jó lenne, ha elolvasnád és megértenéd a korábbi hozzászólásaimat. Fejezd be az értelmetlen kötözködést!
D 2008.05.09. 13:40:39
Relációt tartalmazó hipotézis esetén nem 12 féle hipotézis (és ellenpróba) van, hanem jelen esetben {<,<=,=,>=,>,"don't care'} lehetőségek miatt 36, de mindenképp négyzetszám (az első és második reláció függetlensége miatt). Természetesen adott hipotézis és "history" mellett a célzatos próbák száma lehet kevesebb.
A zárójelben szereplő modatomban pont azt mondtam, hogy a komolyság miatt a "perverz" eseteket nem teszteltem.
A zárójelben szereplő modatomban pont azt mondtam, hogy a komolyság miatt a "perverz" eseteket nem teszteltem.
Szilágyi András 2008.05.09. 13:44:54
"A zárójelben szereplő modatomban pont azt mondtam, hogy a komolyság miatt a "perverz" eseteket nem teszteltem."
Perverz eset az, ami a hipotézised szerint úgyse lenne jó. Nem épp ez a bias?
Perverz eset az, ami a hipotézised szerint úgyse lenne jó. Nem épp ez a bias?
D 2008.05.09. 13:53:22
"Perverz eset az, ami a hipotézised szerint úgyse lenne jó. Nem épp ez a bias?"
Nem. Perverz eset az, amikor munkaidőben 10-nél több számhármassal kísérletezek (vagy blogokban kommentelek :D ). Éles helyzetben nyilván formálisan bizonyítanám, hogy hány próba esetén mennyire lehetnék biztos, hogy jó a hipotézisem, és erre terveznék automatikus tesztet.
Természetesen ha a teljes js-ben ábrázolható számhalmazt nem tesztelem végig, mindig tudok olyan szabályt mondani, amivel az adott legegyszerűbb hipotézis cáfolható.
Nem. Perverz eset az, amikor munkaidőben 10-nél több számhármassal kísérletezek (vagy blogokban kommentelek :D ). Éles helyzetben nyilván formálisan bizonyítanám, hogy hány próba esetén mennyire lehetnék biztos, hogy jó a hipotézisem, és erre terveznék automatikus tesztet.
Természetesen ha a teljes js-ben ábrázolható számhalmazt nem tesztelem végig, mindig tudok olyan szabályt mondani, amivel az adott legegyszerűbb hipotézis cáfolható.
hvuk 2008.05.09. 14:12:45
András!
Szerintem ahhoz amit te bizonyítani akarsz először az alábbit kellene belátnod:
A te általad végzett kísérletnél a korrekten gondolkodó (azaz confirmation bias mentes) kísérletvégző esetén 50% körüli lesz a pozitív és 50% körüli lesz a negatív kísérletek száma (azaz a számhármasok kb. fele felel meg a ter szabályodnak és kb. fele nem felel meg).
Ezt nemcsak, hogy nem tetted meg, hanem ezt a tényt axiómaként fogadtad el. Ső, annyira így tettél, hogy az általunk hozott ellenpéldákra és elméleti megfontolásokra gyakorlatilag nem reagáltál, ha meg igen, akkor kb. az volt a válasz, hogy 50% és kész. Semminemű bizonyítást nem adtál, a cáfoló ellenpéldákat és érveket pedig egyszerűen figyelmen kívül hagytad.
Anélkül, hogy ezt nem látnád be, nem tudunk továbblépni. Pont ezért írtam legutóbb, hogy szerintem meg nem 50%-50%-ot lesz ez egy confirmation bias mentes végző személynél, hanem 40-60 vagy 30-70. A 35% szerintem egy teljesen jó eredmény.
Azonban ha nem foglalkozol az erre vonatkozó ellenérvekkel, akkor ez egy teljesen felesleges szócséplés.
Szerintem ahhoz amit te bizonyítani akarsz először az alábbit kellene belátnod:
A te általad végzett kísérletnél a korrekten gondolkodó (azaz confirmation bias mentes) kísérletvégző esetén 50% körüli lesz a pozitív és 50% körüli lesz a negatív kísérletek száma (azaz a számhármasok kb. fele felel meg a ter szabályodnak és kb. fele nem felel meg).
Ezt nemcsak, hogy nem tetted meg, hanem ezt a tényt axiómaként fogadtad el. Ső, annyira így tettél, hogy az általunk hozott ellenpéldákra és elméleti megfontolásokra gyakorlatilag nem reagáltál, ha meg igen, akkor kb. az volt a válasz, hogy 50% és kész. Semminemű bizonyítást nem adtál, a cáfoló ellenpéldákat és érveket pedig egyszerűen figyelmen kívül hagytad.
Anélkül, hogy ezt nem látnád be, nem tudunk továbblépni. Pont ezért írtam legutóbb, hogy szerintem meg nem 50%-50%-ot lesz ez egy confirmation bias mentes végző személynél, hanem 40-60 vagy 30-70. A 35% szerintem egy teljesen jó eredmény.
Azonban ha nem foglalkozol az erre vonatkozó ellenérvekkel, akkor ez egy teljesen felesleges szócséplés.
Szilágyi András 2008.05.09. 14:55:19
hvuk: én nem akarok semmit bizonyítani, az 50%-ot pedig már te is beláttad határértékben, én is pontosan ezt mondtam. De kevesen mentek el az 50%-ig, pedig mindenki maga dönthette el, mennyire közelíti meg. Az, hogy a helyes választ adóknál is volt confirmation bias, onnét lehet például tudni, hogy közülük is sokan 1-2 nemleges válasszal beérték. Azt, hogy a 35% kevés, nem fogom bizonyítani és nem is akarom, mivel nem tudjuk, mihez képest kéne ezt nézni - más megfontolások alapján gondolom kevésnek. Például ha a szabály az lett volna, hogy "különböző számok, az első a legkisebb" (és ez még csak nem is nagyon perverz) , akkor a mostani helyes megoldók közül igen sokan bukták volna a feladatot, éppen azért, mert nem teszteltek elég negatív példát. D is bukta volna az előbb beírt számhármasai alapján.
A confirmation bias egyik ismert megnyilvánulása a pozitív példák preferálása a negatívakkal szemben, ez a Wason-kísérlet egyik fő eredménye, és ez az én kísérletemből is látszik a résztvevők többségénél.
A confirmation bias egyik ismert megnyilvánulása a pozitív példák preferálása a negatívakkal szemben, ez a Wason-kísérlet egyik fő eredménye, és ez az én kísérletemből is látszik a résztvevők többségénél.
hvuk 2008.05.09. 15:10:03
Ha nem akarsz semmit bizonyítani, akkor nincs gond. :)
Az 50% határeset voltából egyáltalán nem következik, hogy a normálisan feltehető számú kísérlet esetén is annyinak kellene lennie az elvárhatónak. Sőt, biztos hogy kevesebbnek kell lennie. Továbbra is tartom, hogy ez relatíve jelentősen kisebb 50%-nál az itt elvárható 15-20 számú kísérlet esetén.
Amúgy a kísérlet lényegesen egyszerűbb lett volna, ha megmondod előre, hogy mi az a szabály, amit tesztelni kell. Ekkor ugyanis egy csomó torzítást kiküszöböltél volna. Olyanokat amiket Watson is megtett (pl. azzal, hogy megkérdezte az aktuális feltevését a kísérleti alanynak).
Az 50% határeset voltából egyáltalán nem következik, hogy a normálisan feltehető számú kísérlet esetén is annyinak kellene lennie az elvárhatónak. Sőt, biztos hogy kevesebbnek kell lennie. Továbbra is tartom, hogy ez relatíve jelentősen kisebb 50%-nál az itt elvárható 15-20 számú kísérlet esetén.
Amúgy a kísérlet lényegesen egyszerűbb lett volna, ha megmondod előre, hogy mi az a szabály, amit tesztelni kell. Ekkor ugyanis egy csomó torzítást kiküszöböltél volna. Olyanokat amiket Watson is megtett (pl. azzal, hogy megkérdezte az aktuális feltevését a kísérleti alanynak).
Szilágyi András 2008.05.09. 15:13:39
"Továbbra is tartom, hogy ez relatíve jelentősen kisebb 50%-nál az itt elvárható 15-20 számú kísérlet esetén."
Bizonyítsd be! :)
Nem Watson. Wason.
Bizonyítsd be! :)
Nem Watson. Wason.
D 2008.05.09. 15:14:20
"D is bukta volna az előbb beírt számhármasai alapján."
"3,4,4"
Nem buktam volna. Most nem gondoltam teljesen végig, de azt hiszem, hogy az általam tesztelt számok lefedik az összes olyan típusú szabályt, ahol axb és byc reláció van, ahol x és y pontosan az egyik a fentebb felsorolt relációkból.
Egyébként az én értelmezésemben a confirmation bias a következő:
hipotézis: a<b<c. Teszt: 5,7,9. Ez a hipotézis megerősítésére szolgáló kísérlet. Ugyanaz, mint amikor valaki a páros számmal rendelkező kártyát fordítja meg.
Ami nem bias:
hipotézis: a,b,c páros.
Kísérlet: 5,7,9.
A statisztikádban mindkettő bias-ként szerepel, és a próbálkozó hipotézisének ismeretében nem megkülönböztethetőek.
"3,4,4"
Nem buktam volna. Most nem gondoltam teljesen végig, de azt hiszem, hogy az általam tesztelt számok lefedik az összes olyan típusú szabályt, ahol axb és byc reláció van, ahol x és y pontosan az egyik a fentebb felsorolt relációkból.
Egyébként az én értelmezésemben a confirmation bias a következő:
hipotézis: a<b<c. Teszt: 5,7,9. Ez a hipotézis megerősítésére szolgáló kísérlet. Ugyanaz, mint amikor valaki a páros számmal rendelkező kártyát fordítja meg.
Ami nem bias:
hipotézis: a,b,c páros.
Kísérlet: 5,7,9.
A statisztikádban mindkettő bias-ként szerepel, és a próbálkozó hipotézisének ismeretében nem megkülönböztethetőek.
D 2008.05.09. 15:15:45
"és a próbálkozó hipotézisének ismeretében"
jav: _nem_ ismeretében
jav: _nem_ ismeretében
Szilágyi András 2008.05.09. 15:16:05
Pedig elég nagy a szórás az arányban, voltak szép számmal olyanok is, akik elérték vagy akár jóval meg is haladták az 50%-ot. Ők akkor hülyék, vagy az én beépített embereim? :)
Szilágyi András 2008.05.09. 15:20:24
D: de buktad volna, nézd meg jobban.
Már kifejtettem, hogy mi a bias és ehhez hogyan viszonyul a pozitív/negatív arány. Nem mondom el még egyszer.
Már kifejtettem, hogy mi a bias és ehhez hogyan viszonyul a pozitív/negatív arány. Nem mondom el még egyszer.
D 2008.05.09. 15:23:51
"Ők akkor hülyék, vagy az én beépített embereim? :)"
Nem, egyik sem. Ha az elvártnál általánosabb hipotézisből indul valaki, akkor ha jól csinálja, akkor az igenlő válaszok legfeljebb a próbák felét fogják jellemezni.
Ha valaki egy szűkebb hipotézisből indul (pl a hasonló feladatokkal szerzett tapasztalat miatt), akkor ha a könnyű nyomonkövethetőség miatt minden lépésben csak egy feltételt relaxál, akkor a tényleges szabályra nézve pozitív válaszok lesznek többségben, viszont jó eséllyel mindegyik döntése bias-mentesen helyes volt.
Nem, egyik sem. Ha az elvártnál általánosabb hipotézisből indul valaki, akkor ha jól csinálja, akkor az igenlő válaszok legfeljebb a próbák felét fogják jellemezni.
Ha valaki egy szűkebb hipotézisből indul (pl a hasonló feladatokkal szerzett tapasztalat miatt), akkor ha a könnyű nyomonkövethetőség miatt minden lépésben csak egy feltételt relaxál, akkor a tényleges szabályra nézve pozitív válaszok lesznek többségben, viszont jó eséllyel mindegyik döntése bias-mentesen helyes volt.
D 2008.05.09. 15:26:57
"Már kifejtettem, hogy mi a bias és ehhez hogyan viszonyul a pozitív/negatív arány."
Szerintem rosszul fejtetted ki. A pozitív/negatív arány a Wason-féle kísérletben is az egyén hipotézisére vonatkozott, és nem a tényleges szabályra. A kettő között viszont tetszőlegesen nagy eltérést lehetséges csinálni.
Sőt, tudnék olyan kísérletet csinálni, ahol a te értelmezésedben 100% lenne a negatív bias, ugyanazokkal az emberekkel.
Szerintem rosszul fejtetted ki. A pozitív/negatív arány a Wason-féle kísérletben is az egyén hipotézisére vonatkozott, és nem a tényleges szabályra. A kettő között viszont tetszőlegesen nagy eltérést lehetséges csinálni.
Sőt, tudnék olyan kísérletet csinálni, ahol a te értelmezésedben 100% lenne a negatív bias, ugyanazokkal az emberekkel.
hvuk 2008.05.09. 15:27:29
De a Watson jobban hangzik. :)
Nem nekem kell bizonyítanom, hogy nem 50%, hanem neked, hogy 50%. Ugyanis te állítottál először.
Azt triviálisan könnyű bizonyítani, hogy ez az érték függ a szabálytól. Ha minden számhármas jó, akkor ugyanis egész pontosan 0% lesz a cáfoló kísérletek száma, ha pedig csak a 2-4-6, akkor biztosan több lesz mint 50% (sőt, ha nem ismétlünk már tudott kísérletet, akkor pontosan 100% lesz).
Azt tehát bebizonyítottuk, hogy a várható érték függ a kísérleti szabálytól. Innentől kezdve az égegyadta semmi okunk feltenni, hogy pontosan 50% lenne ebben az esetben.
Nem nekem kell bizonyítanom, hogy nem 50%, hanem neked, hogy 50%. Ugyanis te állítottál először.
Azt triviálisan könnyű bizonyítani, hogy ez az érték függ a szabálytól. Ha minden számhármas jó, akkor ugyanis egész pontosan 0% lesz a cáfoló kísérletek száma, ha pedig csak a 2-4-6, akkor biztosan több lesz mint 50% (sőt, ha nem ismétlünk már tudott kísérletet, akkor pontosan 100% lesz).
Azt tehát bebizonyítottuk, hogy a várható érték függ a kísérleti szabálytól. Innentől kezdve az égegyadta semmi okunk feltenni, hogy pontosan 50% lenne ebben az esetben.
Szilágyi András 2008.05.09. 15:29:46
"A pozitív/negatív arány a Wason-féle kísérletben is az egyén hipotézisére vonatkozott, és nem a tényleges szabályra."
Nem így van, idézem a cikket: "Frequency of negative instances. The ratio of hte number of negative instances of the correct rule to the total number of instances generated was computed for each subject."
Nem így van, idézem a cikket: "Frequency of negative instances. The ratio of hte number of negative instances of the correct rule to the total number of instances generated was computed for each subject."
Szilágyi András 2008.05.09. 15:31:37
hvuk: extrém példákkal ne gyere, minimum elvárom, hogy a megfelelő és a meg nem felelő példák száma is végtelen legyen.
Én is csak határétékben állítottam az ötven százalékot, te is egyetértettél ezzel, nincs köztünk vita, csak neked még be kéne bioznyítanod a 35 százalékot, hogy az az optimális.
Én is csak határétékben állítottam az ötven százalékot, te is egyetértettél ezzel, nincs köztünk vita, csak neked még be kéne bioznyítanod a 35 százalékot, hogy az az optimális.
D 2008.05.09. 15:32:18
"D: de buktad volna, nézd meg jobban."
Bocsi, félreolvastam. Amúgy azt hiszem, azt sem buktam volna, mert úgy emlékszem, 3,10,4 jellegű próbát csináltam, de ebben nem vagyok biztos. Ettől függetlenül nem ez a lényeg, a kísérlet befejezése nem tekinthető confirmation biasnak ebben az esetben. A hipotézisünkre illeszkedő számok tesztelése (amikkel nem a hipotézisünket akarjuk cáfolni) tekinthető annak.
Bocsi, félreolvastam. Amúgy azt hiszem, azt sem buktam volna, mert úgy emlékszem, 3,10,4 jellegű próbát csináltam, de ebben nem vagyok biztos. Ettől függetlenül nem ez a lényeg, a kísérlet befejezése nem tekinthető confirmation biasnak ebben az esetben. A hipotézisünkre illeszkedő számok tesztelése (amikkel nem a hipotézisünket akarjuk cáfolni) tekinthető annak.
Szilágyi András 2008.05.09. 15:35:11
D: mint írtam, confirmation biasnak tekintjük a pozitív példák preferálását is, és éppen a pozitív példák preferálása okozza azt, ha valaki specifikusabb szabályt állapít meg a tényleges szabálynál, vagyis csak egy szükséges feltételt határoz meg szükséges és elégséges feltétel helyett.
D 2008.05.09. 15:37:24
"Nem így van, idézem a cikket:"
De nem _csak_ ezt számolta ki. És pont azok miatt a torzítások miatt, amikkel nekünk itt bajunk van.
De nem _csak_ ezt számolta ki. És pont azok miatt a torzítások miatt, amikkel nekünk itt bajunk van.
D 2008.05.09. 15:44:22
"vagyis csak egy szükséges feltételt határoz meg szükséges és elégséges feltétel helyett."
Ha valaki egy szükségest határoz meg iff helyett, akkor pont, hogy általánosabbat talál, és nem specifikusat.
Ugyanezt az érvelést felhasználva én azt állítom, hogy amennyiben túl általánosból indul ki, könnyebben határoz meg túl általános szabályt (azaz nem talál meg további szabályokat).
Azzal, hogy a mindenkori hipotézisemet cáfolni akarom, azzal nincs pozitív biasom, és kizárólag a tényleges szabálytól függ, hogy ez a módszer a valóságban milyen arányt fog produkálni (pedig én kizárólag és tudatosan negatív példákat keresek).
hipotézis: a
Ha valaki egy szükségest határoz meg iff helyett, akkor pont, hogy általánosabbat talál, és nem specifikusat.
Ugyanezt az érvelést felhasználva én azt állítom, hogy amennyiben túl általánosból indul ki, könnyebben határoz meg túl általános szabályt (azaz nem talál meg további szabályokat).
Azzal, hogy a mindenkori hipotézisemet cáfolni akarom, azzal nincs pozitív biasom, és kizárólag a tényleges szabálytól függ, hogy ez a módszer a valóságban milyen arányt fog produkálni (pedig én kizárólag és tudatosan negatív példákat keresek).
hipotézis: a
Szilágyi András 2008.05.09. 15:44:50
Na figyeljetek, most végre megtaláltam, amit kerestem:
Wason két fontos mennyiséget számolt: az eliminatív/enumeratív indexet, ez pontosan a hipotéziscáfolatok és -megerősítések aránya, valamint az előbb már említett negatív válaszok arányát. Az én kísérletemben csak az utóbbit tudtam meghatározni.
És most jön a fontos felismerés: azt írja a Wason-cikk, hogy az eliminatív/enumeratív index és a negatív válaszok aránya között rendkívül szignifikáns korreláció figyelhető meg, a korrelációs koefficiens 0,72.
Ezt figyelembe véve megalapozottan állíthatjuk, hogy a pozitív/negatív torzítás a confirmation bias megbízható jele.
Szóval, lehet kötözködni, hogy én nem azt számoltam, amit kellett volna, meg lehet ellenpéldákat gyártani, stb., de mivel amit én számoltam, az jelentősen korrelál a confirmation biasszal a tudomány mai állása szerint, így az eredmény igenis a confirmation bias világos jele.
Wason két fontos mennyiséget számolt: az eliminatív/enumeratív indexet, ez pontosan a hipotéziscáfolatok és -megerősítések aránya, valamint az előbb már említett negatív válaszok arányát. Az én kísérletemben csak az utóbbit tudtam meghatározni.
És most jön a fontos felismerés: azt írja a Wason-cikk, hogy az eliminatív/enumeratív index és a negatív válaszok aránya között rendkívül szignifikáns korreláció figyelhető meg, a korrelációs koefficiens 0,72.
Ezt figyelembe véve megalapozottan állíthatjuk, hogy a pozitív/negatív torzítás a confirmation bias megbízható jele.
Szóval, lehet kötözködni, hogy én nem azt számoltam, amit kellett volna, meg lehet ellenpéldákat gyártani, stb., de mivel amit én számoltam, az jelentősen korrelál a confirmation biasszal a tudomány mai állása szerint, így az eredmény igenis a confirmation bias világos jele.
Szilágyi András 2008.05.09. 15:45:51
D: bocsánat, igazad van, elégségest akartam írni szükséges helyett.
D 2008.05.09. 15:46:21
Elgépeltem...
hipotézis: a<b<c. Teszt: 5,7,9.
hipotézis: a,b,c páros. Teszt: 5,7,9.
A tényleges szabály nem definiált. Megegyezhetünk-e abban, hogy az első változat confirmation bias, a második nem?
hipotézis: a<b<c. Teszt: 5,7,9.
hipotézis: a,b,c páros. Teszt: 5,7,9.
A tényleges szabály nem definiált. Megegyezhetünk-e abban, hogy az első változat confirmation bias, a második nem?
D 2008.05.09. 16:00:06
"a korrelációs koefficiens 0,72."
A hipotézisem szerint /:)/ ezt a korrelációt mindenképp befolyásolja a következő két dolog:
- a feladat típusa (milyen bonyolult a szabály, mekkora valószínűséggel lehet pozitív/negatív példát találni)
- a résztvevő személy tapasztalata, prekoncepciója (pl egy számtani sorhoz hasonló példa alapján a tapasztalat miatt sokan ilyesmi formában keresik először a megoldást vagy egy írástudatlan ember valószínűleg formai hasonlóságok alapján állítana fel szabályt.)
A hipotézisem szerint /:)/ ezt a korrelációt mindenképp befolyásolja a következő két dolog:
- a feladat típusa (milyen bonyolult a szabály, mekkora valószínűséggel lehet pozitív/negatív példát találni)
- a résztvevő személy tapasztalata, prekoncepciója (pl egy számtani sorhoz hasonló példa alapján a tapasztalat miatt sokan ilyesmi formában keresik először a megoldást vagy egy írástudatlan ember valószínűleg formai hasonlóságok alapján állítana fel szabályt.)
wice 2008.05.09. 16:05:01
Andras: "azt írja a Wason-cikk, hogy az eliminatív/enumeratív index és a negatív válaszok aránya között rendkívül szignifikáns korreláció figyelhető meg, a korrelációs koefficiens 0,72."
csak az osszes tesztalany halmazara ertelmezve ennyi, mikozben van kulonbseg a vegul helyes valaszt adok es a rossz hipotezisnel megmaradok kozott? gyanitom, h igen.
nezd, az van, h neked meggyozodesed, h marpedig a magas pozitiv/negativ valaszarany egyertelmuen a bias kovetkezmenye. mi adtunk neked nem egy peldat arra, h hogyan billentheti pozitiv iranyba ezt az aranyt a keresett szabaly jellegebol es a kiindulopontbol eredo varhato logikus munkahipotezissorozat. te meg az egesz ellenvetest lenyegeben ujra es ujra azzal soprod le, h "marpedig ez a confirmation bias miatt van es kesz", ahelyett, h megmutatnad, miert nem torzithatjak a kezdeti feltetelek ebbe az iranyba az aranyt.
nem tul udito igy vitatkozni.
csak az osszes tesztalany halmazara ertelmezve ennyi, mikozben van kulonbseg a vegul helyes valaszt adok es a rossz hipotezisnel megmaradok kozott? gyanitom, h igen.
nezd, az van, h neked meggyozodesed, h marpedig a magas pozitiv/negativ valaszarany egyertelmuen a bias kovetkezmenye. mi adtunk neked nem egy peldat arra, h hogyan billentheti pozitiv iranyba ezt az aranyt a keresett szabaly jellegebol es a kiindulopontbol eredo varhato logikus munkahipotezissorozat. te meg az egesz ellenvetest lenyegeben ujra es ujra azzal soprod le, h "marpedig ez a confirmation bias miatt van es kesz", ahelyett, h megmutatnad, miert nem torzithatjak a kezdeti feltetelek ebbe az iranyba az aranyt.
nem tul udito igy vitatkozni.
hvuk 2008.05.09. 16:06:36
Igazából az a gond, hogy nem lehet matekkal normálisan megfogni a dolgot. Az pedig mindig gond.
Ha végtelen kísérletet végzünk, akkor valóban minden esetben amikor végtelen jó és végtelen rossz számhármas van, akkor az 50%-hoz konvergál. De sajnos ebből az égegyadta világon semmi nem következik véges esetre. Mondok két szabályt:
1. összes számhármas jó, amiben 100 ezernél kisebb számok szerepelnek (negatívak is).
2. a 2-4-6 jó, ezen kívül az összes számhármas ahol minden szám nagyobb 100 ezernél.
Teljesen biztos vagyok benne, hogy az első esetben a pozitív kísérletek száma kezdetben nagyon nagy lenne és onnan konvergálna lassan az 50% felé, míg a második esetben pont fordítva. Ha mondjuk egy szabályt akkor fogadunk el (ez rajtunk függ, de érdemes előre kikötni), ha 10-10 pozitív és negatív kísérlet is alátámasztja, akkor az első esetben a negatív kísérletek száma bőven 50% alatt lesz, míg a második esetben lényegesen felette. Nyilván azért, mert az első esetben egy nagy halom pozitív kimenetelű kisérletet végzünk el, amíg megtaláljuk a helyesnek vélt szabályt, míg a második esetben egy csomó negatív kimenetelűt és ezeket persze a végén nem egyenlíti ki a +10 kísérlet.
Kicsit ezt a végét még kifejtem. Tegyük fel, hogy ha a fenti első kísérletnél cáfoló (nem felel meg a valódi szabálynak) visszajelzést kapunk, akkor onnantól már egyből a jó szabályt - vagy legalábbis ahhoz közelállót) teszteljük, míg a 2. esetben ugyanaz egy nem cáfoló (azaz megfelel az igazi szabálynak) visszajelzés után következik be. Próbáljunk ki előtte mindkét esetben 20 számhármast mielőtt kitaláljuk a végső szabályt. Ekkor az első esetben 20 pozitív és 10 negatív kísérletet végeztünk (így áll elő a 10 negatív és a 10 pozitív kísérlet), azaz 33%-os lesz a negatív kísérletek száma. A 2. esetben viszont 20 negatív és 10 pozitív kimenetelű kísérletet hajtottunk végre, azaz itt a negatív kísérletek száma 66% volt. Pedig mindkettő 50%-hoz konvergált, csak az egyik alulról, a másik pedig felülről. De persze a konvergencia sebességében is lehet különbség.
Jogos a kérdésed, hogy vajon miért éppen 10 kísérletnél álltunk meg. Nos, miért ne? Végtelen lehetőség van, az összeset úgysem tudjuk tesztelni. Meg nem is fizetnek érte, így nem várható, hogy mondjuk 1000 számhármasig folytassuk. :)
Ha végtelen kísérletet végzünk, akkor valóban minden esetben amikor végtelen jó és végtelen rossz számhármas van, akkor az 50%-hoz konvergál. De sajnos ebből az égegyadta világon semmi nem következik véges esetre. Mondok két szabályt:
1. összes számhármas jó, amiben 100 ezernél kisebb számok szerepelnek (negatívak is).
2. a 2-4-6 jó, ezen kívül az összes számhármas ahol minden szám nagyobb 100 ezernél.
Teljesen biztos vagyok benne, hogy az első esetben a pozitív kísérletek száma kezdetben nagyon nagy lenne és onnan konvergálna lassan az 50% felé, míg a második esetben pont fordítva. Ha mondjuk egy szabályt akkor fogadunk el (ez rajtunk függ, de érdemes előre kikötni), ha 10-10 pozitív és negatív kísérlet is alátámasztja, akkor az első esetben a negatív kísérletek száma bőven 50% alatt lesz, míg a második esetben lényegesen felette. Nyilván azért, mert az első esetben egy nagy halom pozitív kimenetelű kisérletet végzünk el, amíg megtaláljuk a helyesnek vélt szabályt, míg a második esetben egy csomó negatív kimenetelűt és ezeket persze a végén nem egyenlíti ki a +10 kísérlet.
Kicsit ezt a végét még kifejtem. Tegyük fel, hogy ha a fenti első kísérletnél cáfoló (nem felel meg a valódi szabálynak) visszajelzést kapunk, akkor onnantól már egyből a jó szabályt - vagy legalábbis ahhoz közelállót) teszteljük, míg a 2. esetben ugyanaz egy nem cáfoló (azaz megfelel az igazi szabálynak) visszajelzés után következik be. Próbáljunk ki előtte mindkét esetben 20 számhármast mielőtt kitaláljuk a végső szabályt. Ekkor az első esetben 20 pozitív és 10 negatív kísérletet végeztünk (így áll elő a 10 negatív és a 10 pozitív kísérlet), azaz 33%-os lesz a negatív kísérletek száma. A 2. esetben viszont 20 negatív és 10 pozitív kimenetelű kísérletet hajtottunk végre, azaz itt a negatív kísérletek száma 66% volt. Pedig mindkettő 50%-hoz konvergált, csak az egyik alulról, a másik pedig felülről. De persze a konvergencia sebességében is lehet különbség.
Jogos a kérdésed, hogy vajon miért éppen 10 kísérletnél álltunk meg. Nos, miért ne? Végtelen lehetőség van, az összeset úgysem tudjuk tesztelni. Meg nem is fizetnek érte, így nem várható, hogy mondjuk 1000 számhármasig folytassuk. :)
hvuk 2008.05.09. 16:13:34
"És most jön a fontos felismerés: azt írja a Wason-cikk, hogy az eliminatív/enumeratív index és a negatív válaszok aránya között rendkívül szignifikáns korreláció figyelhető meg, a korrelációs koefficiens 0,72.
Ezt figyelembe véve megalapozottan állíthatjuk, hogy a pozitív/negatív torzítás a confirmation bias megbízható jele."
Ez tök jól hangzik, csak egy dolgot hagysz ki a számításból! Nem tudjuk, hogy vajon a 35% mekkora confirmation bias-t tartalmaz. Lehet, hogy egyáltalán nem szerepel benne (noha ez szerintem kizárt), de lehet, hogy tényleg jelentős a hatása. Azt kellene tudni, hogy vajon mekkora a confirmation bias nélküli érték várható értéke (nem a végtelenben, hanem a reálisan várható kísérletszámra, ami viszont erősen kísérleti személyfüggő).
A fenti Wason féle összefüggésből csak annyi következik, hogy a helytelenül megoldók 7% körüli cáfoló állítása a helyes megoldókhoz képest valóban a confirmation bias eredménye. De ebből nem következik, hogy a helyesen megoldóknál volt-e és hogy mekkora a confirmation bias hatása.
Ezt figyelembe véve megalapozottan állíthatjuk, hogy a pozitív/negatív torzítás a confirmation bias megbízható jele."
Ez tök jól hangzik, csak egy dolgot hagysz ki a számításból! Nem tudjuk, hogy vajon a 35% mekkora confirmation bias-t tartalmaz. Lehet, hogy egyáltalán nem szerepel benne (noha ez szerintem kizárt), de lehet, hogy tényleg jelentős a hatása. Azt kellene tudni, hogy vajon mekkora a confirmation bias nélküli érték várható értéke (nem a végtelenben, hanem a reálisan várható kísérletszámra, ami viszont erősen kísérleti személyfüggő).
A fenti Wason féle összefüggésből csak annyi következik, hogy a helytelenül megoldók 7% körüli cáfoló állítása a helyes megoldókhoz képest valóban a confirmation bias eredménye. De ebből nem következik, hogy a helyesen megoldóknál volt-e és hogy mekkora a confirmation bias hatása.
Szilágyi András 2008.05.09. 17:13:53
wice: ha van egy összefüggés, ami korreláció jellegű, akkor te azt az összefüggést nem tudod néhány olyan pont megmutatásával cáfolni, amely kilóg a várt tendenciából. Azért korreláció, mert vannak kilógó elemek benne. Ezért nem érdemes ellenpéldákkal előhozakodni. Persze, lehet gyártani olyan forgatókönyvet, hogy valaki mindig csak falszifikálni akar, és mégis mindig igen válaszokat kap. De nem ez a jellemző, az egész halmazt megnézve az a tendencia látszik, hogy az kap több nem választ, aki többször falszifikál. Gondolkodjatok el rajta, hogy miért áll fenn ez a korreláció.
hvuk: az, hogy a confirmation bias jelen van, az nem kérdés, csak a mértékét nem tudjuk megmondani. Attól, hogy valaki helyes megoldást adott, nem vált mágikusan biasmentes emberré. Egy teljesen folytonos átmenet van a hibás és a helyes választ adók között, a szétválasztás két csoportba mesterséges, kizárólag azon múlt, hogy én mit mondtam, hogy mi a helyes megoldás. Ha egy általánosabb szabályt mondok megoldásnak, a jelenlegi helyes megoldók nagy része helytelen megoldóvá válik.
hvuk: az, hogy a confirmation bias jelen van, az nem kérdés, csak a mértékét nem tudjuk megmondani. Attól, hogy valaki helyes megoldást adott, nem vált mágikusan biasmentes emberré. Egy teljesen folytonos átmenet van a hibás és a helyes választ adók között, a szétválasztás két csoportba mesterséges, kizárólag azon múlt, hogy én mit mondtam, hogy mi a helyes megoldás. Ha egy általánosabb szabályt mondok megoldásnak, a jelenlegi helyes megoldók nagy része helytelen megoldóvá válik.
wice 2008.05.09. 18:22:36
Andras: egyvalamire vagyok kivancsi: azoknal, akik Wason kiserleteben minden egyes munkahipotezisukre legalabb egy cafolo tesztet vegeztek, mekkora volt az ossz pozitiv/negativ valaszarany? mar ha ez kiderul a cikkbol. mert erzesem szerint naluk is joval magasabb volt 50/50 szazaleknal, a feladat jellegebol adodoan.
nyari mikulas (törölt) 2008.05.09. 18:35:40
Andras, sajnalom, hogy kotozkodesnek erzed amit irok, nem az volt a szandekom vele.
Hatarozott allaspontom, hogy tevedsz, es errol probaltalak ervekkel meggyozni.
Nem elso eset, hogy nem ertunk egyet, es egyszer sem tudtunk kozos nevezore jutni.
Nyilvan te ugy gondolod, hogy en tevedek es en nem vagyok hajlando a Te erveidet megfontolni, en meg forditva.
Igazad van, maradjunk ennyiben, remenytelen.
Orommel latom, hogy nem allok egyedul a velemenyemmel a kerdesben es hogy a tobbiekkel, akik ugyanazt mondjak, mint en, csak talan erthetobben, vagy kevesbe bantoan ervelnek, meg folytatod a vitat.
Ne hagyjatok abba, nagyon erdekes es tanulsagos!
Hatarozott allaspontom, hogy tevedsz, es errol probaltalak ervekkel meggyozni.
Nem elso eset, hogy nem ertunk egyet, es egyszer sem tudtunk kozos nevezore jutni.
Nyilvan te ugy gondolod, hogy en tevedek es en nem vagyok hajlando a Te erveidet megfontolni, en meg forditva.
Igazad van, maradjunk ennyiben, remenytelen.
Orommel latom, hogy nem allok egyedul a velemenyemmel a kerdesben es hogy a tobbiekkel, akik ugyanazt mondjak, mint en, csak talan erthetobben, vagy kevesbe bantoan ervelnek, meg folytatod a vitat.
Ne hagyjatok abba, nagyon erdekes es tanulsagos!
nyari mikulas (törölt) 2008.05.09. 19:54:45
Tegnap irtam, hogy elvegeztem ket kiserletet.
"Tudom, statisztikailag nem ertekelheto, de ezert leirom, mert erdekes, es azert is leirom, mert NEM tamogatja az en hipotezisemet.
Az elso kiserletben a blogon talalt peldat adtam fel egy amerikai egyetemistanak: 2,4,6.
14 probalkozasa volt, ebbol 8 helyes es 6 helytelen, mire azt mondta, hogy novekvo sorrend (negativ szamokra is tesztelte).
A masodik kiserletben ugyanennek a szemelynek a feladtam az 3,5,7 szamsor. 14 probalkozas (7 pozitiv es 7 negativ) utan feladta, nem talalja a szabalyt, ami az volt, hogy a szamok csak 1-gyel es onmagukkal oszthatoak.
En bevallom, arra szamitottam, hogy sokkal tobb helytelen probalkozast latok majd a masodik esetben. Nem igy tortent."
Ma megismeteltem a kiserletet egy masik egyetemistaval.
Az elso esetben(a 246 pleda) 8 helyes es 3 helytelen valaszt kapott, meghozza ilyen sorrendben:
++++++-+-+-
A masik esetben 8 negativ es egy pozitiv valaszt kapott
--------+
Ha talalok meg onkenteseket, akkor meg megismetlem majd, es kommentar (kotozkodes) nelkul beirom az eredmenyt.
Papiron vegeztuk a kiserletet, az alany leirt a harom szamot, en meg + vagy - jelet tettem melle.
"Tudom, statisztikailag nem ertekelheto, de ezert leirom, mert erdekes, es azert is leirom, mert NEM tamogatja az en hipotezisemet.
Az elso kiserletben a blogon talalt peldat adtam fel egy amerikai egyetemistanak: 2,4,6.
14 probalkozasa volt, ebbol 8 helyes es 6 helytelen, mire azt mondta, hogy novekvo sorrend (negativ szamokra is tesztelte).
A masodik kiserletben ugyanennek a szemelynek a feladtam az 3,5,7 szamsor. 14 probalkozas (7 pozitiv es 7 negativ) utan feladta, nem talalja a szabalyt, ami az volt, hogy a szamok csak 1-gyel es onmagukkal oszthatoak.
En bevallom, arra szamitottam, hogy sokkal tobb helytelen probalkozast latok majd a masodik esetben. Nem igy tortent."
Ma megismeteltem a kiserletet egy masik egyetemistaval.
Az elso esetben(a 246 pleda) 8 helyes es 3 helytelen valaszt kapott, meghozza ilyen sorrendben:
++++++-+-+-
A masik esetben 8 negativ es egy pozitiv valaszt kapott
--------+
Ha talalok meg onkenteseket, akkor meg megismetlem majd, es kommentar (kotozkodes) nelkul beirom az eredmenyt.
Papiron vegeztuk a kiserletet, az alany leirt a harom szamot, en meg + vagy - jelet tettem melle.
merenyi 2008.05.09. 20:44:33
tamas55,
valóban nem vagy egyedül a véleményeddel. én is megerősítenélek. emlékszem, hogy amikor játszottam a feladattal, engem határozottan bosszantott, hogy eleinte képtelen voltam negatív eredményt kapni, pedig az volt a célom. szinte minden értelmes kiinduló hipotézis a megoldás részhalmaza. ez a feladat egyszerűen úgy van megalkotva, hogy adják magukat a pozitív eredmények. csak akkor kaptam végre cáfolatot, amikor már rájöttem a megoldásra, és célirányosan azt teszteltem. az meg viszonylag gyorsan leellenőrizhető. nyilván jelen lehet a confirmation bias is a végeredményben, de alighanem elvész a feladat jellegéből adódó eltolódásban.
nekem még a korrelációs mentő érv is elég gyenge. az egész kísérlet nekem kicsit olyan volt, mintha valaki közölné velem, hogy illusztrálta (mégha informálisan is), hogy Magyarország időjárása esős - azzal a módszerrel, hogy a felhős napok száma meglepően nagy, mindezt úgy, hogy csak téli napokat néz. aztán felhozza mentő érvnek, hogy az eső erősen korrelál a felhős éggel.
valóban nem vagy egyedül a véleményeddel. én is megerősítenélek. emlékszem, hogy amikor játszottam a feladattal, engem határozottan bosszantott, hogy eleinte képtelen voltam negatív eredményt kapni, pedig az volt a célom. szinte minden értelmes kiinduló hipotézis a megoldás részhalmaza. ez a feladat egyszerűen úgy van megalkotva, hogy adják magukat a pozitív eredmények. csak akkor kaptam végre cáfolatot, amikor már rájöttem a megoldásra, és célirányosan azt teszteltem. az meg viszonylag gyorsan leellenőrizhető. nyilván jelen lehet a confirmation bias is a végeredményben, de alighanem elvész a feladat jellegéből adódó eltolódásban.
nekem még a korrelációs mentő érv is elég gyenge. az egész kísérlet nekem kicsit olyan volt, mintha valaki közölné velem, hogy illusztrálta (mégha informálisan is), hogy Magyarország időjárása esős - azzal a módszerrel, hogy a felhős napok száma meglepően nagy, mindezt úgy, hogy csak téli napokat néz. aztán felhozza mentő érvnek, hogy az eső erősen korrelál a felhős éggel.
Szilágyi András 2008.05.09. 20:59:48
wice: ez nem olvasható ki a cikkből, de nincs is jelentősége. Az, hogy valaki minden hipotézisét legalább egyszer megpróbálta cáfolni, nem jelenti azt, hogy nem próbálta sokkal többször megerősíteni őket, és az sem, hogy megismeréselméleti szempontból kifogástalanul cselekedett.
Egyébként meg úgy látom, hogy alapvetően olyasmikkel vitatkoztok, amiket én nem is állítok. Sőt, már azt sem tudom, mivel vitatkoztok tulajdonképpen. Szerintem minden világos, nem tudom, min lehet még itt vitatkozni.
Egyébként meg úgy látom, hogy alapvetően olyasmikkel vitatkoztok, amiket én nem is állítok. Sőt, már azt sem tudom, mivel vitatkoztok tulajdonképpen. Szerintem minden világos, nem tudom, min lehet még itt vitatkozni.
frank 2008.05.09. 23:11:11
Szerintem is minden vilagos, Andrasnak nincs igaza es az elemzese helytelen, a tobbieknek van igaza. Nem ertem miert kell csokonyosen kotni az ebet a karohoz.
Szilágyi András 2008.05.09. 23:14:33
Itt van még egy kis adalék:
szkeptikus.blog.hu/media/image/negarany.gif
Az ábra azt mutatja, hogyan függ a helyes megoldást adók aránya attól, hogy mekkora arányban kaptak negatív válaszokat a játékosok. A vízszintes tengely ábrázolja a negatív válaszok arányát, ez 0,05 szélességű tartományokra van osztva. A piros oszlopok azt mutatják, hogy az adott tartományba tartozó játékosoknak hány százaléka adott helyes megoldást. A kék vonal pedig azt mutatja, hány helyes megoldás tartozik az egyes tartományokba.
Ahogy várható volt, a helyes megoldáshoz való eljutás esélye növekszik a kapott negatív válaszok arányával. Magam sem gondoltam volna, de érdekes módon pont 0,5-nél maximális. Annak a 40 embernek, aki 45% és 50% közötti arányban kapott negatív válaszokat, 97,5%-a adott helyes megoldást, vagyis csak egy ember tévedett. A 35%-os válaszarány gyengébben teljesít ennél: 80 ember tartozik a 30%-35% tartományba, közülük 82,5% adott helyes megoldást, vagyis 14 ember tévedett.
Ez bizony alátámasztja azt, hogy az 50%-os negatív válaszarány jobb, mint a kisebb válaszarány. És azt is, hogy simán el lehet érni, 40 embernek sikerült.
szkeptikus.blog.hu/media/image/negarany.gif
Az ábra azt mutatja, hogyan függ a helyes megoldást adók aránya attól, hogy mekkora arányban kaptak negatív válaszokat a játékosok. A vízszintes tengely ábrázolja a negatív válaszok arányát, ez 0,05 szélességű tartományokra van osztva. A piros oszlopok azt mutatják, hogy az adott tartományba tartozó játékosoknak hány százaléka adott helyes megoldást. A kék vonal pedig azt mutatja, hány helyes megoldás tartozik az egyes tartományokba.
Ahogy várható volt, a helyes megoldáshoz való eljutás esélye növekszik a kapott negatív válaszok arányával. Magam sem gondoltam volna, de érdekes módon pont 0,5-nél maximális. Annak a 40 embernek, aki 45% és 50% közötti arányban kapott negatív válaszokat, 97,5%-a adott helyes megoldást, vagyis csak egy ember tévedett. A 35%-os válaszarány gyengébben teljesít ennél: 80 ember tartozik a 30%-35% tartományba, közülük 82,5% adott helyes megoldást, vagyis 14 ember tévedett.
Ez bizony alátámasztja azt, hogy az 50%-os negatív válaszarány jobb, mint a kisebb válaszarány. És azt is, hogy simán el lehet érni, 40 embernek sikerült.
Szilágyi András 2008.05.09. 23:25:52
És ezt akkor tovább is lehet gondolni. Ha elfogadjuk, hogy a megerősítési torzítástól mentes stratégia eredményezi a legnagyobb esélyt a helyes megoldás megtalálására, akkor a fenti ábra alapján arra következtethetünk, hogy az 50%-os negatív válaszarány felel leginkább meg a megerősítési torzítástól mentes gondolkodásnak. A 35%-os negatív válaszarány szuboptimális, ami arra utal, hogy mellette még megfigyelhető valamennyi megerősítési torzítás.
nyari mikulas (törölt) 2008.05.10. 04:32:36
Egy harmadik onkentest is talaltam a fentebb mar leirt osszehasonlitashoz.
a 2-6-6 (novekvo szamok) kiserlet eredmenye:
13+, 4-
++++--+++-+++++-+
ami meglepett, a 3-5-7 (primszamok) kiserlet:
5+, 1- igy
-+++++ helyes eredmeny
a 2-6-6 (novekvo szamok) kiserlet eredmenye:
13+, 4-
++++--+++-+++++-+
ami meglepett, a 3-5-7 (primszamok) kiserlet:
5+, 1- igy
-+++++ helyes eredmeny
hvuk 2008.05.10. 12:40:45
Na emberek, rájöttem, hogy hol van a confirmation bias elrejtve! Persze nem kicsit trükkös a dolog. Ott, hogy implicite felteszik a kísérletet végző személyek egy jó része, hogy a sorozat növekvő és a cáfolatként beadott számhármasok ennek a "láthatatlan" feltételnek általában megfelelnek. Ha emiatt az x, x+2, x+4 szabályt akarja valaki lecsekkolni, akkor ezt jó eséllyel egy növekvő sorozattal fogja megtenni. Nyilván, ha a cáfoló számhármast random módon választanánk ki a feltehető számhármasok köréből, akkor ez nem lépne fel. Persze akkor meg - András minden állításával ellentétben - 5/6 lenne a korrekt negatív válaszok száma és nem pedig 50%.
Más kérdés, hogy ez vajon a confirmation bias miatt van-e. Arra gondolok ugyanis, hogy _elvileg_ az egyetlen confirmation bias mentes stratégia az, hogy a számhármast véletlen módon választjuk ki úgy, hogy az negatív legyen a szabályra nézve, azonban mégsem hiszem azt, hogy bárki is ezt a stratégiát követné (és nem csak ebben a példában, hanem általában is mondjuk a tudományos kutatásban).
Igazából nagyon kíváncsi lennék egy olyan kísérletre, ahol nincs megadva egyetlen kiinduló számhármas sem! Azaz teljesen tiszta lappal kezdünk neki, kb. úgy mint ahogy az életnek is. Az szerintem jobban szimulálná a valódi gondolkodást és azt, hogy mitől alakul ki valakiben nagyon erős confirmation bias késztetés, míg másban miért nem.
Van még egy további dolog, amit még az eredeti topicban tettem szóvá, ez pedig a feladat leírásában a "szabály" szó kétértelműsége, amit a feladat kiírása sajnos egyáltalán nem oszlat el. Még egyszer vázolom az ott kifejtett problémát: a magyar (és persze az angolban is) nyelvben a szabály jelent algoritmust is, másrészt pedig jelent egyszerű feltételnek történő megfeleltetést is. Sőt, matematikai vonatkozásban szinte mindig az elsőt használjuk. Hozzáadódik ehhez az, hogy a feladat teljesen olyan típusúnak tűnt, hogy "itt van egy sorozat első három eleme és találd ki a negyediket", azzal a különbséggel, hogy itt nem a negyediket kellett megtalálni, hanem magát a szabályt.
Emiatt viszont nem lehet sajnos egyértelműen állítani, hogy a sorozat monoton voltának feltételezése confirmation bias lett volna. Annyira nem lehet, hogy szerintem nem is az volt. A helyes válaszadók 20 számhármast teszteltek döntésük meghozatala előtt, ha valaki a szabály szó algoritmus jelentéséből indult ki (szerintem a válaszolók nagyon döntő többsége így tett), akkor bizony legalább 4-5 olyan számhármast próbált ki, amely megfelelt az eredeti szabálynak. Ezután a hátralévő 15-16 próba már hiáűba volt confirmation bias mentes, te mégis csak 35-40% körüli negatív kísérletszámot mértél.
Van még egy következménye a szabály szó algoritmusként való értelmezésének. Ha olyan determinisztikus algoritmust keresek amelynek a 2,4,6 számhármas megfelel, akkor gyakorlatilag tetszőleges általam feltételezett algoritmus esetén nincs értelme mondjuk 8, 1, 153 sorozat tesztelésének, mivel nincs olyan értelmes algoritmus, amelynek mindkettő megfelel (megj.: nyilván van olyan algoritmus aminek mindkettő megfelel, de az olyan bonyolult, hogy nem fogom azt keresni egy ilyen feladatnál). Determinisztikus algoritmus esetén ugyanis éppen az a jó stratégia, ha először egy pozitív kísérletet végzek, azaz olyat ami megerősíti a szabályt. Egyszerűen így zárom ki hatékonyabban az általam kigondolt algoritmust (ennek oka triviális: determinisztikus algoritmus esetén egy véletlenszerűen kiválasztott számhármas nulla eséllyel fog megfelelni az igazi szabálynak, így egy negatív eredmény gyakorlatilag semmit nem mond az algoritmusomról). Ez tehát szerintem nem tekinthető confirmation bias-nak.
Én a feladat kiírásánál mindenképpen hangsúlyoztam volna, hogy itt nem algoritmusról van szó, hanem egyszerűen csak egy feltételről, hogy még a minimális esélyét is elkerüljem annak, hogy a feladat félreérthető legyen és így torz eredményt kapjak. András, Wason az eredeti kísérletében egész pontosan mit mondott az alanyoknak? Kiderül ez a leírásából? Mert szerintem ez egy nagyon komoly torzító tényező lehet!
Ui.: Lehet, hogy ez visszakozásnak tűnik a korábbi álláspontomhoz képest, pedig nem így van. Egyszerűen csak most tudtam lényegesen megfogalmazni azt, hogy miért volt a feladat kiírásának torzító hatása. Nem azért volt, mert implikálta a növekvő sorozatot, hanem azért, mert félreérthető módon algoritmust kezdtünk el keresni, amikor is egész más úton-módon indulunk el, mintha egy feltételt keresnénk (de persze ekkor fontos, hogy a számhármas mit implikál bennünk, azaz az milyen szóba jöhető algoritmusoknak felel meg).
Más kérdés, hogy ez vajon a confirmation bias miatt van-e. Arra gondolok ugyanis, hogy _elvileg_ az egyetlen confirmation bias mentes stratégia az, hogy a számhármast véletlen módon választjuk ki úgy, hogy az negatív legyen a szabályra nézve, azonban mégsem hiszem azt, hogy bárki is ezt a stratégiát követné (és nem csak ebben a példában, hanem általában is mondjuk a tudományos kutatásban).
Igazából nagyon kíváncsi lennék egy olyan kísérletre, ahol nincs megadva egyetlen kiinduló számhármas sem! Azaz teljesen tiszta lappal kezdünk neki, kb. úgy mint ahogy az életnek is. Az szerintem jobban szimulálná a valódi gondolkodást és azt, hogy mitől alakul ki valakiben nagyon erős confirmation bias késztetés, míg másban miért nem.
Van még egy további dolog, amit még az eredeti topicban tettem szóvá, ez pedig a feladat leírásában a "szabály" szó kétértelműsége, amit a feladat kiírása sajnos egyáltalán nem oszlat el. Még egyszer vázolom az ott kifejtett problémát: a magyar (és persze az angolban is) nyelvben a szabály jelent algoritmust is, másrészt pedig jelent egyszerű feltételnek történő megfeleltetést is. Sőt, matematikai vonatkozásban szinte mindig az elsőt használjuk. Hozzáadódik ehhez az, hogy a feladat teljesen olyan típusúnak tűnt, hogy "itt van egy sorozat első három eleme és találd ki a negyediket", azzal a különbséggel, hogy itt nem a negyediket kellett megtalálni, hanem magát a szabályt.
Emiatt viszont nem lehet sajnos egyértelműen állítani, hogy a sorozat monoton voltának feltételezése confirmation bias lett volna. Annyira nem lehet, hogy szerintem nem is az volt. A helyes válaszadók 20 számhármast teszteltek döntésük meghozatala előtt, ha valaki a szabály szó algoritmus jelentéséből indult ki (szerintem a válaszolók nagyon döntő többsége így tett), akkor bizony legalább 4-5 olyan számhármast próbált ki, amely megfelelt az eredeti szabálynak. Ezután a hátralévő 15-16 próba már hiáűba volt confirmation bias mentes, te mégis csak 35-40% körüli negatív kísérletszámot mértél.
Van még egy következménye a szabály szó algoritmusként való értelmezésének. Ha olyan determinisztikus algoritmust keresek amelynek a 2,4,6 számhármas megfelel, akkor gyakorlatilag tetszőleges általam feltételezett algoritmus esetén nincs értelme mondjuk 8, 1, 153 sorozat tesztelésének, mivel nincs olyan értelmes algoritmus, amelynek mindkettő megfelel (megj.: nyilván van olyan algoritmus aminek mindkettő megfelel, de az olyan bonyolult, hogy nem fogom azt keresni egy ilyen feladatnál). Determinisztikus algoritmus esetén ugyanis éppen az a jó stratégia, ha először egy pozitív kísérletet végzek, azaz olyat ami megerősíti a szabályt. Egyszerűen így zárom ki hatékonyabban az általam kigondolt algoritmust (ennek oka triviális: determinisztikus algoritmus esetén egy véletlenszerűen kiválasztott számhármas nulla eséllyel fog megfelelni az igazi szabálynak, így egy negatív eredmény gyakorlatilag semmit nem mond az algoritmusomról). Ez tehát szerintem nem tekinthető confirmation bias-nak.
Én a feladat kiírásánál mindenképpen hangsúlyoztam volna, hogy itt nem algoritmusról van szó, hanem egyszerűen csak egy feltételről, hogy még a minimális esélyét is elkerüljem annak, hogy a feladat félreérthető legyen és így torz eredményt kapjak. András, Wason az eredeti kísérletében egész pontosan mit mondott az alanyoknak? Kiderül ez a leírásából? Mert szerintem ez egy nagyon komoly torzító tényező lehet!
Ui.: Lehet, hogy ez visszakozásnak tűnik a korábbi álláspontomhoz képest, pedig nem így van. Egyszerűen csak most tudtam lényegesen megfogalmazni azt, hogy miért volt a feladat kiírásának torzító hatása. Nem azért volt, mert implikálta a növekvő sorozatot, hanem azért, mert félreérthető módon algoritmust kezdtünk el keresni, amikor is egész más úton-módon indulunk el, mintha egy feltételt keresnénk (de persze ekkor fontos, hogy a számhármas mit implikál bennünk, azaz az milyen szóba jöhető algoritmusoknak felel meg).
hvuk 2008.05.10. 12:42:24
"Persze akkor meg - András minden állításával ellentétben - 5/6 lenne a korrekt negatív válaszok száma és nem pedig 50%."
Helyesbítek: 5/6 lenne a negatív kísérletek száma amíg meg nem találjuk a végső szabályt (vagy egy ahhoz nagyon közeli szabályt), utánna természetesen konvergálna az 50%-hoz. Csak éppen felülről.
Helyesbítek: 5/6 lenne a negatív kísérletek száma amíg meg nem találjuk a végső szabályt (vagy egy ahhoz nagyon közeli szabályt), utánna természetesen konvergálna az 50%-hoz. Csak éppen felülről.
nyari mikulas (törölt) 2008.05.10. 14:03:06
(Andras, fordulj el egy pillanatra)
hvuk: elsore azt gondoltam, hogy a sorozat 2,4,6,... 8,10,12 lesz.
Teszteltem 8,10,12 szamokkal (ez pozitiv teszt). Utana teszteltem ugyanezt a hipotezist a 10,16, 26 szamokkal. (ez egy negativ teszt, mert nem felel meg a hipotezisemnek, ez cafolta volna a hipotezist!). A kiserletben megis pozitivkent lett ertekelve.
Ugyanakkor ha azt gondoltam volna eppen, hogy a szabaly Xn=X(n-1)+X(n-2), akkor az elso probamat kellett volna cafolo es masodikat megerosito kiserletnek tekinteni.
Azert nem lehet ezt a kiserletet igy ertekelni, mert nem tudja a kisertekelo, hogy en mit teszteltem eppen, es az, hogy egy teszt megerosito vagy cafolo, az nem a valasztol fugg, hanem az en kerdesemtol es az en varakozasomtol.
A masodik szemellyel vegzett masodik kiserletem, ahol eleinte csupa "-" valaszt kaptam nem azert volt "-" mert a valaszolo cafolni akarta a sajat felteveset. Az o szandeka megerosites lett volna, csak epp a nem a jo szabaly alapjan allitott elo szamokat, azert azok nem feleltek meg az en szabalyomnak.
A bias ott is megvolt! Csak a kiserlet igy nem azt merte.
hvuk: elsore azt gondoltam, hogy a sorozat 2,4,6,... 8,10,12 lesz.
Teszteltem 8,10,12 szamokkal (ez pozitiv teszt). Utana teszteltem ugyanezt a hipotezist a 10,16, 26 szamokkal. (ez egy negativ teszt, mert nem felel meg a hipotezisemnek, ez cafolta volna a hipotezist!). A kiserletben megis pozitivkent lett ertekelve.
Ugyanakkor ha azt gondoltam volna eppen, hogy a szabaly Xn=X(n-1)+X(n-2), akkor az elso probamat kellett volna cafolo es masodikat megerosito kiserletnek tekinteni.
Azert nem lehet ezt a kiserletet igy ertekelni, mert nem tudja a kisertekelo, hogy en mit teszteltem eppen, es az, hogy egy teszt megerosito vagy cafolo, az nem a valasztol fugg, hanem az en kerdesemtol es az en varakozasomtol.
A masodik szemellyel vegzett masodik kiserletem, ahol eleinte csupa "-" valaszt kaptam nem azert volt "-" mert a valaszolo cafolni akarta a sajat felteveset. Az o szandeka megerosites lett volna, csak epp a nem a jo szabaly alapjan allitott elo szamokat, azert azok nem feleltek meg az en szabalyomnak.
A bias ott is megvolt! Csak a kiserlet igy nem azt merte.
hvuk 2008.05.10. 14:15:42
Tamás (és András, ez neked is releváns)!
Mint megmutattam, nem ez a lényeg. Ha algoritmust tesztelsz és az a feltevésed, hogy az az x, x+2, x+4, x+6, ... alakú, akkor az 5, 10, 238 számhármas tesztelése nem minősíthető úgy, mintha az nem lenne confirmation bias. Mégpedig azért nem, mert egy determinisztikus algoritmust nem lehet ellenpéldákkal letesztelni (kivéve persze, ha véletlenül eltalálok egy, az igazi algoritmusnak megfelelő számhármast és _pozitív_ válasz jön ki). Szerintem egy teoretikus algoritmus tesztelésénél pont fordítva van: ott a confirmation bias igazából azt jelenti, ha nem megfelelő számhármast tesztelek, mivel ekkor van legnagyobb esélyem olyan visszajelzést kapnom, ami megerősít a hitemben, azaz így a legkisebb az esély a cáfolatra.
Mint megmutattam, nem ez a lényeg. Ha algoritmust tesztelsz és az a feltevésed, hogy az az x, x+2, x+4, x+6, ... alakú, akkor az 5, 10, 238 számhármas tesztelése nem minősíthető úgy, mintha az nem lenne confirmation bias. Mégpedig azért nem, mert egy determinisztikus algoritmust nem lehet ellenpéldákkal letesztelni (kivéve persze, ha véletlenül eltalálok egy, az igazi algoritmusnak megfelelő számhármast és _pozitív_ válasz jön ki). Szerintem egy teoretikus algoritmus tesztelésénél pont fordítva van: ott a confirmation bias igazából azt jelenti, ha nem megfelelő számhármast tesztelek, mivel ekkor van legnagyobb esélyem olyan visszajelzést kapnom, ami megerősít a hitemben, azaz így a legkisebb az esély a cáfolatra.
hvuk 2008.05.10. 14:30:02
Kicsit körüljárom egy példával! Tegyük fel, hogy az algoritmus a fenti x, x+2, x+4, x+6, ... és én is pont ezt tesztelem. Mondjuk összesen 20 tesztet végzek és már az elején a helyes algoritmust tesztelem. Nézzünk ekkor két szélsőséges tesztelési eljárást:
1. Úgy járok el, hogy _minden_ tesztben olyan számhármast tesztelek, ami nem x, x+2, x+4 alakú. Ekkor 20 negatív kimenetet kapok, amely kimenetek mindegyike megerősít a feltételezésemben. Azaz ez nagyon erős confirmation bias-nak tekinthető a 20 negatív kimenet ellenére is!
2. Mindig csak x, x+2, x+4 alakúakat tesztelek. Ekkor 20 pozitív választ kapok, amelyek mindegyike megerősíti a feltételezésemet, de ezek kísérletek mindegyikének nagyon nagy esélye van cáfolni az algoritmusomat, tehát nem igazán tekinthető jelentős confirmation bias-nak.
A 2. esetben azért van mégis confirmation bias, mert nem gondoltam azt végig, hogy így látszólag ugyan nagyon nagymértékben megerősítettem az algoritmusomat, de közben még más, szintén determinisztikus, de ennél bővebb szabályokat nem zártam. Mire gondolok? Konkrétan arra, hogy lehet az a definíció, hogy számtani sornak kell lennie, aminek az első két eleme határozza meg a különbséget. És én olyan algoritmust találtam ami d=2-re működik, de ezzel kizártam minden más d-t (például az 5-10-15 sorozatokat). Persze ha ez lenne a szabály, akkor kaphatnék pozitív kimenetet az első esetben, emiatt a példa nem tökéletes, de érzékelteti a problémát.
Persze ha nem algoritmust, hanem egy feltételt kell kitalálni - mint az eredeti feladatban - akkor ilyen gond nincs, de akkor persze tudatosítani kell, hogy itt nem algoritmusról van szó, különben torzul az eredmény.
1. Úgy járok el, hogy _minden_ tesztben olyan számhármast tesztelek, ami nem x, x+2, x+4 alakú. Ekkor 20 negatív kimenetet kapok, amely kimenetek mindegyike megerősít a feltételezésemben. Azaz ez nagyon erős confirmation bias-nak tekinthető a 20 negatív kimenet ellenére is!
2. Mindig csak x, x+2, x+4 alakúakat tesztelek. Ekkor 20 pozitív választ kapok, amelyek mindegyike megerősíti a feltételezésemet, de ezek kísérletek mindegyikének nagyon nagy esélye van cáfolni az algoritmusomat, tehát nem igazán tekinthető jelentős confirmation bias-nak.
A 2. esetben azért van mégis confirmation bias, mert nem gondoltam azt végig, hogy így látszólag ugyan nagyon nagymértékben megerősítettem az algoritmusomat, de közben még más, szintén determinisztikus, de ennél bővebb szabályokat nem zártam. Mire gondolok? Konkrétan arra, hogy lehet az a definíció, hogy számtani sornak kell lennie, aminek az első két eleme határozza meg a különbséget. És én olyan algoritmust találtam ami d=2-re működik, de ezzel kizártam minden más d-t (például az 5-10-15 sorozatokat). Persze ha ez lenne a szabály, akkor kaphatnék pozitív kimenetet az első esetben, emiatt a példa nem tökéletes, de érzékelteti a problémát.
Persze ha nem algoritmust, hanem egy feltételt kell kitalálni - mint az eredeti feladatban - akkor ilyen gond nincs, de akkor persze tudatosítani kell, hogy itt nem algoritmusról van szó, különben torzul az eredmény.
Szilágyi András 2008.05.10. 15:02:37
Inkább nézzétek meg a belinkelt ábrámat és ahhoz szóljatok hozzá!
Elgondolkodtatok-e, hogy miért van erős negatív korreláció a confirmation bias és a negatív válaszarány között?
Szerintem a következők miatt: Ahhoz, hogy eljussak egy megfelelően alátámasztott elmélethez (szabályhoz), ahhoz két dolgot kell tennem:
1. erre a szabályra kellően sok pozitív választ kell kapnom (enumeráció)
2. az alternatív szabályokra pedig negatív válaszokat kell kapnom, hogy ezeket kizárhassam (elimináció).
A confirmation bias azt jelenti, hogy elsősorban az enumerációt csinálom, az eliminációt pedig elhanyagolom. Fő oka az, hogy nem is gondolok alternatív szabályokra, nem törődöm vele, hogy azokat ki kéne zárni, vagy nem tartom ezt igazán fontosnak.
Aki confirmation bias nélkül jár el, az az enumerációra és eliminációra egyenlő súlyt helyez, és ezért nem érzi kellően biztosnak magát valamely szabály helyességében addig, amíg kellőképpen sok negatív választ nem kapott az alternatív szabályokra nézve.
Éppen ezért minél kevésbé bias-osabban jár el valaki, annál több negatív választ fog kapni. Emiatt van a korreláció.
Szépen látszik az ábrámból, hogy valóban növekszik a helyes megoldásra jutás esélye a negatív válaszok hányadának növekedésével. Emellett persze a helyes megoldást adók átlagosan több próbát is végeztek. Miért? Pont azért, mert nem nyugodtak meg addig, amíg az alternatív hipotézisekre elegendően sok negatív választ nem kaptak.
Ebben az értelemben pedig nem is volt annyira félrevezető a cikkben a megerősítés és a cáfolat szavakat használni a pozitív és a negatív válaszokra. A pozitív válasz a saját szabályom megerősítése, a negatív válasz pedig egy alternatív szabály cáfolata. A hipotézisem akkor válik erőssé, ha a saját szabályom kellően meg van erősítve, az alternatív szabályok pedig kellően meg vannak cáfolva, vagyis elegendően sokat kaptam mind pozitív, mind negatív válaszból.
Aki mondjuk csupa pozitív választ kapott, az hiába mondja, hogy de hát ezeket ő mind cáfolatként kapta, mert negatív választ várt a hipotézise alapján, valójában ezek a pozitív válaszok a végső szabályának megerősítéseivé váltak. És nem törődött azzal, hogy az alternatívákat pedig ki kéne zárni, amit viszont csak negatív válaszokkal lehet.
Elgondolkodtatok-e, hogy miért van erős negatív korreláció a confirmation bias és a negatív válaszarány között?
Szerintem a következők miatt: Ahhoz, hogy eljussak egy megfelelően alátámasztott elmélethez (szabályhoz), ahhoz két dolgot kell tennem:
1. erre a szabályra kellően sok pozitív választ kell kapnom (enumeráció)
2. az alternatív szabályokra pedig negatív válaszokat kell kapnom, hogy ezeket kizárhassam (elimináció).
A confirmation bias azt jelenti, hogy elsősorban az enumerációt csinálom, az eliminációt pedig elhanyagolom. Fő oka az, hogy nem is gondolok alternatív szabályokra, nem törődöm vele, hogy azokat ki kéne zárni, vagy nem tartom ezt igazán fontosnak.
Aki confirmation bias nélkül jár el, az az enumerációra és eliminációra egyenlő súlyt helyez, és ezért nem érzi kellően biztosnak magát valamely szabály helyességében addig, amíg kellőképpen sok negatív választ nem kapott az alternatív szabályokra nézve.
Éppen ezért minél kevésbé bias-osabban jár el valaki, annál több negatív választ fog kapni. Emiatt van a korreláció.
Szépen látszik az ábrámból, hogy valóban növekszik a helyes megoldásra jutás esélye a negatív válaszok hányadának növekedésével. Emellett persze a helyes megoldást adók átlagosan több próbát is végeztek. Miért? Pont azért, mert nem nyugodtak meg addig, amíg az alternatív hipotézisekre elegendően sok negatív választ nem kaptak.
Ebben az értelemben pedig nem is volt annyira félrevezető a cikkben a megerősítés és a cáfolat szavakat használni a pozitív és a negatív válaszokra. A pozitív válasz a saját szabályom megerősítése, a negatív válasz pedig egy alternatív szabály cáfolata. A hipotézisem akkor válik erőssé, ha a saját szabályom kellően meg van erősítve, az alternatív szabályok pedig kellően meg vannak cáfolva, vagyis elegendően sokat kaptam mind pozitív, mind negatív válaszból.
Aki mondjuk csupa pozitív választ kapott, az hiába mondja, hogy de hát ezeket ő mind cáfolatként kapta, mert negatív választ várt a hipotézise alapján, valójában ezek a pozitív válaszok a végső szabályának megerősítéseivé váltak. És nem törődött azzal, hogy az alternatívákat pedig ki kéne zárni, amit viszont csak negatív válaszokkal lehet.
hvuk 2008.05.10. 17:34:03
András!
A belinkelt ábrát megnéztem, de szerintem minimális az 50%-os és a 40%-os közötti különbség. Ebből szerintem egyáltalán nem következik, hogy az járt el helyesen, aki 50%-ban kapott pozitív és negatív választ.
Igazából ebben a hozzászólásodban csak ugyanazt szajkózod amit már eddig is mondtál. De eközben nem reagálsz sem a régebbi ellenérvekre, sem az újakra (lásd az én algoritmusra vonatkozó megjegyzéseimet). Tudnál ezekre is válaszolni!
Abban igazad van, hogy aki csak pozitív választ kapott, az valóban hiába hivatkozik erre. Viszont ő nem is fogja megtalálni a jó választ, tehát nem róla beszéltünk.
Viszont, hogy jó hírt is mondjak, rájöttem, hogy miről beszélsz. Te azt mondod, hogy a kísérletezőnek az összes kísérletet együtt kellene figyelembe venni és ezek alapján kellene az új kísérleti számhármast meghatároznia. Csakhogy az ember nem így működik, én például le sem írtam a régebbi példáimat. De nem az igazi gond, van ennél sokkal súlyosabb ellenérv is!
Ha a 2, 4, 6 számhármasból indulunk ki, akkor lényegesen több olyan egyszerű szabály képzelhető el (a 2 oldalas vagy matematikailag bonyolult szabályokat szerintem egyből mindenki kizárta), amely szigorúan növekedő számhármasokat generál, mint amely nem. Nyilván megszámolni nem tudjuk őket, de a lényeg az, hogy sokkal több ilyen szabály tudunk kitalálni, mint másfélét.
Ebből viszont az következik, hogy elvileg (nyilván most megfelelő hozzáállású embert véve alapul) azt relatíve kevés kísérlettel el lehet dönteni, hogy a sorozatnak növekvőnek kell lennie, azt azonban már nehezebb (értsd: több kísérlet kell hozzá), hogy rájöjjünk, hogy pontosan milyen szigorúan monoton szabály érvényes. Ez utóbbiaknál azonban csak és kizárólag szig. mon. számhármasokat lehet tesztelni, hiszen egy nem ilyen számhármas nem a felvetett szűkebb szabályt cáfolná, hanem csak az eredeti nagyon bő sigorúan növekvő felvetésünket.
Persze már írtam erről régebben is, de figyelmen kívül hagytad.
A belinkelt ábrát megnéztem, de szerintem minimális az 50%-os és a 40%-os közötti különbség. Ebből szerintem egyáltalán nem következik, hogy az járt el helyesen, aki 50%-ban kapott pozitív és negatív választ.
Igazából ebben a hozzászólásodban csak ugyanazt szajkózod amit már eddig is mondtál. De eközben nem reagálsz sem a régebbi ellenérvekre, sem az újakra (lásd az én algoritmusra vonatkozó megjegyzéseimet). Tudnál ezekre is válaszolni!
Abban igazad van, hogy aki csak pozitív választ kapott, az valóban hiába hivatkozik erre. Viszont ő nem is fogja megtalálni a jó választ, tehát nem róla beszéltünk.
Viszont, hogy jó hírt is mondjak, rájöttem, hogy miről beszélsz. Te azt mondod, hogy a kísérletezőnek az összes kísérletet együtt kellene figyelembe venni és ezek alapján kellene az új kísérleti számhármast meghatároznia. Csakhogy az ember nem így működik, én például le sem írtam a régebbi példáimat. De nem az igazi gond, van ennél sokkal súlyosabb ellenérv is!
Ha a 2, 4, 6 számhármasból indulunk ki, akkor lényegesen több olyan egyszerű szabály képzelhető el (a 2 oldalas vagy matematikailag bonyolult szabályokat szerintem egyből mindenki kizárta), amely szigorúan növekedő számhármasokat generál, mint amely nem. Nyilván megszámolni nem tudjuk őket, de a lényeg az, hogy sokkal több ilyen szabály tudunk kitalálni, mint másfélét.
Ebből viszont az következik, hogy elvileg (nyilván most megfelelő hozzáállású embert véve alapul) azt relatíve kevés kísérlettel el lehet dönteni, hogy a sorozatnak növekvőnek kell lennie, azt azonban már nehezebb (értsd: több kísérlet kell hozzá), hogy rájöjjünk, hogy pontosan milyen szigorúan monoton szabály érvényes. Ez utóbbiaknál azonban csak és kizárólag szig. mon. számhármasokat lehet tesztelni, hiszen egy nem ilyen számhármas nem a felvetett szűkebb szabályt cáfolná, hanem csak az eredeti nagyon bő sigorúan növekvő felvetésünket.
Persze már írtam erről régebben is, de figyelmen kívül hagytad.
Szilágyi András 2008.05.10. 17:45:25
Miféle ellenérvekre? Egyáltalán mivel vitatkozol te tulajdonképpen?
hvuk 2008.05.10. 17:50:13
Képzeletbeli alapos, de bias-tól egyáltalán nem mentes emberkénk így gondolkodhat.
1. koncepció: x, 2*x, 3*x. Teszteli mondjuk az 5, 10, 15 számhármassal, majd az 1, 2, 3-al. Figyelem, bias! :) Ezután kipróbálja a 0, 0, 0-t. Bias, de nem annak méred, nem baj, a végső szabályra nem az. Hümmögni kezd, kipróbálja a -1, -2, -3-at. Most sem jó. Gondol egy pozitív ellenpróbát (na végre, ez az első ilyen próbája!) 1, 4, 7 és pozitív választ kap! Elvégzett tehát 5 kísérletet, ebből 3 pozitív, 2 negatív.
2. koncepció: kis hümmögés után úgy gondolja, hogy lehet, hogy a nem szig. mon sorozatok mind rosszak. Teszteli az alapeseteket, meg 1-2 érdekes esetet, összesen mondjuk 15 kísérlet. Mind negatívnak méred.
3. -n. koncepció: Tesztel sok olyan számhármast ami az eddigi pozitív válaszokra illő szabályként megjelenhet. Alapos ember, akár 30 koncepciót is tesztelhet, amíg megállapítja, hogy bármely szigorúan növekvő számhármas jó. Ezen tesztek mind pozitívak, hiszen ezek csak és kizárólag szig. mon. növekvő számhármasokból álltak, hiszen ezeket a koncepciókat csak és kizárólag azokkal lehet tesztelni!
Összeségében végzett 50 kísérletet, amiből 17 lett negatív és 33 pozitív. Pedig pszichológia szempontból kizárólag az első 3 kísérlete volt confirmation bias-os, az összes többinél semmiféle ilyen nem játszott szerepet, végig nagyon önkritikus volt. Te azonban mégis jelentős confirmation bias-t tulajdonítanál neki. Meg tudnád mutatni, hogy az első 3 kísérleten kívül melyik kísérlet vol még szerinted pszichológiailag confirmation bias-os?
1. koncepció: x, 2*x, 3*x. Teszteli mondjuk az 5, 10, 15 számhármassal, majd az 1, 2, 3-al. Figyelem, bias! :) Ezután kipróbálja a 0, 0, 0-t. Bias, de nem annak méred, nem baj, a végső szabályra nem az. Hümmögni kezd, kipróbálja a -1, -2, -3-at. Most sem jó. Gondol egy pozitív ellenpróbát (na végre, ez az első ilyen próbája!) 1, 4, 7 és pozitív választ kap! Elvégzett tehát 5 kísérletet, ebből 3 pozitív, 2 negatív.
2. koncepció: kis hümmögés után úgy gondolja, hogy lehet, hogy a nem szig. mon sorozatok mind rosszak. Teszteli az alapeseteket, meg 1-2 érdekes esetet, összesen mondjuk 15 kísérlet. Mind negatívnak méred.
3. -n. koncepció: Tesztel sok olyan számhármast ami az eddigi pozitív válaszokra illő szabályként megjelenhet. Alapos ember, akár 30 koncepciót is tesztelhet, amíg megállapítja, hogy bármely szigorúan növekvő számhármas jó. Ezen tesztek mind pozitívak, hiszen ezek csak és kizárólag szig. mon. növekvő számhármasokból álltak, hiszen ezeket a koncepciókat csak és kizárólag azokkal lehet tesztelni!
Összeségében végzett 50 kísérletet, amiből 17 lett negatív és 33 pozitív. Pedig pszichológia szempontból kizárólag az első 3 kísérlete volt confirmation bias-os, az összes többinél semmiféle ilyen nem játszott szerepet, végig nagyon önkritikus volt. Te azonban mégis jelentős confirmation bias-t tulajdonítanál neki. Meg tudnád mutatni, hogy az első 3 kísérleten kívül melyik kísérlet vol még szerinted pszichológiailag confirmation bias-os?
hvuk 2008.05.10. 17:52:21
"Miféle ellenérvekre? Egyáltalán mivel vitatkozol te tulajdonképpen?"
Például azzal, hogy 50%-nak kellene lennie a várható negatív kísérletnek.
Azzal viszont nem vitatkozok, hogy a confirmation bias előfordulásában a helyes és a helytelen válaszolók között nagy volt a különbség és ez volt a döntő oka annak, hogy rossz választ adtak.
Például azzal, hogy 50%-nak kellene lennie a várható negatív kísérletnek.
Azzal viszont nem vitatkozok, hogy a confirmation bias előfordulásában a helyes és a helytelen válaszolók között nagy volt a különbség és ez volt a döntő oka annak, hogy rossz választ adtak.
nyari mikulas (törölt) 2008.05.10. 19:11:02
András, te totál reménytelen eset vagy.
nyari mikulas (törölt) 2008.05.10. 19:17:54
Andras:
-az abradon nem jelolted be, mekkora elteres szikgnifikans!
Jelentos-e az elteres a 0.35 hoz tartozo ~83% es a 0.5-hoz tartozo ~97% kozott? Ugye latod, hogy kevesebb eleme van a 0.5-os oszlopnap, igy a veletelen szoras is nagyobb lehet. Kiszamolod?
-figyelmen kivul hagytad (confirmation bias iskolapeldaja!) a 0.5 folotti eseteket, amikor is csokkent a helyes megoldasok aranya.
-Úgy látom, éles különbséget teszel a helytelen és a helyes választ adók között, mert a helytelen választ adók esetében elfogadod, hogy a confirmation bias a magyarázat, a helyes választ adók esetében viszont nem. De mi van, ha én most elárulom, hogy hazudtam, nem az volt a szabály, hogy növekvő számsort kell megadni, hanem azt, hogy vagy növekvő számsort kell megadni, vagy mínusz ezernél kisebb tetszőleges számokat? Minden adat marad a régi, és nem lesz senki, aki helyes megoldást adott volna.
-az abradon nem jelolted be, mekkora elteres szikgnifikans!
Jelentos-e az elteres a 0.35 hoz tartozo ~83% es a 0.5-hoz tartozo ~97% kozott? Ugye latod, hogy kevesebb eleme van a 0.5-os oszlopnap, igy a veletelen szoras is nagyobb lehet. Kiszamolod?
-figyelmen kivul hagytad (confirmation bias iskolapeldaja!) a 0.5 folotti eseteket, amikor is csokkent a helyes megoldasok aranya.
-Úgy látom, éles különbséget teszel a helytelen és a helyes választ adók között, mert a helytelen választ adók esetében elfogadod, hogy a confirmation bias a magyarázat, a helyes választ adók esetében viszont nem. De mi van, ha én most elárulom, hogy hazudtam, nem az volt a szabály, hogy növekvő számsort kell megadni, hanem azt, hogy vagy növekvő számsort kell megadni, vagy mínusz ezernél kisebb tetszőleges számokat? Minden adat marad a régi, és nem lesz senki, aki helyes megoldást adott volna.
vje 2008.05.10. 20:21:51
Örülök, hogy ilyen jó az arány... Azért nem reagáltam eddig, mert meg kellett várnom nyocévesemet, aki megtalálta a szbályt...
Megtalálta...
Biztosan a véletlen lehet -- számotokra, pedg ha nem is 13.valamennyi, de néhány próba alapján összejött. Nekem sem kellett 13...
Cca egy olyan gondolkodás, ami nem a "keretek" elvárások szerint működik, lazán néz egy ilyen feladatra... Az előzőre is..., ami -- ha jól értettem, elég gázos eredményt hozott...
Szép napot!
Megtalálta...
Biztosan a véletlen lehet -- számotokra, pedg ha nem is 13.valamennyi, de néhány próba alapján összejött. Nekem sem kellett 13...
Cca egy olyan gondolkodás, ami nem a "keretek" elvárások szerint működik, lazán néz egy ilyen feladatra... Az előzőre is..., ami -- ha jól értettem, elég gázos eredményt hozott...
Szép napot!
Szilágyi András 2008.05.10. 23:06:17
tamas,
a 35 és az 50% csoport között az eltérés szignifikáns, a mintaszámok ismeretében ezt ránézésre is tudni lehet, kiszámolva p=0.019.
Az 50% fölötti csökkenés beleillik az elméletbe, hiszen az már ellentétes irányú torzulás. Sajnos a mintaméret viszont 50% fölött rohamosan csökken, a további oszlopokat pedig már nem is tüntettem fel, mert ott már 5 körül van a mintaszám, így nagyon zajosak az adatok.
Pont az a számítás üzenete, hogy nincs éles különbség a helyes és a helytelen megoldók között, folytonos az átmenet közöttük. A negatívarány növekedésével egyre több ember éri el a helyes megoldást.
a 35 és az 50% csoport között az eltérés szignifikáns, a mintaszámok ismeretében ezt ránézésre is tudni lehet, kiszámolva p=0.019.
Az 50% fölötti csökkenés beleillik az elméletbe, hiszen az már ellentétes irányú torzulás. Sajnos a mintaméret viszont 50% fölött rohamosan csökken, a további oszlopokat pedig már nem is tüntettem fel, mert ott már 5 körül van a mintaszám, így nagyon zajosak az adatok.
Pont az a számítás üzenete, hogy nincs éles különbség a helyes és a helytelen megoldók között, folytonos az átmenet közöttük. A negatívarány növekedésével egyre több ember éri el a helyes megoldást.
Szilágyi András 2008.05.10. 23:17:58
hvuk,
meglehetősen extrém példa az 50 számhármassal próbálkozó ember. A 3-n koncepciókat kicsit elkented, a "tesztelés" közben honnét tudjuk, hogy mindig csak cáfolni akart? Sehonnan. Az alternatív szabályok 15 próbával való kizárása kicsit kevésnek tűnik ahhoz képest, hogy utána viszont 30 próbát szentelt a növekvő sorozatoknak. Ezzel együtt a magas próbaszám jó esélyt adott neki a helyes megoldásra, és a 34%-os negatívarány a grafikonom szerint már 82% fölötti esélyt jelent a helyes megoldáshoz való eljutásra, ami a magas próbaszámot is figyelembe véve még magasabb lehet. Az adataim szerint a 35% negatívarányúak között tipikusan olyanok jutnak téves megoldásra, akik 10-11 próbát tesznek, tehát 3-4 nem választ kapnak. Tehát arra lehet következtetni, hogy ennél az embernél elég alacsony lehetett a confirmation bias, megegyezően a te következtetéseddel. Hol a probléma?
Nem kéne elveszni az ilyen részletekben, a fő tendenciákat kell látni.
meglehetősen extrém példa az 50 számhármassal próbálkozó ember. A 3-n koncepciókat kicsit elkented, a "tesztelés" közben honnét tudjuk, hogy mindig csak cáfolni akart? Sehonnan. Az alternatív szabályok 15 próbával való kizárása kicsit kevésnek tűnik ahhoz képest, hogy utána viszont 30 próbát szentelt a növekvő sorozatoknak. Ezzel együtt a magas próbaszám jó esélyt adott neki a helyes megoldásra, és a 34%-os negatívarány a grafikonom szerint már 82% fölötti esélyt jelent a helyes megoldáshoz való eljutásra, ami a magas próbaszámot is figyelembe véve még magasabb lehet. Az adataim szerint a 35% negatívarányúak között tipikusan olyanok jutnak téves megoldásra, akik 10-11 próbát tesznek, tehát 3-4 nem választ kapnak. Tehát arra lehet következtetni, hogy ennél az embernél elég alacsony lehetett a confirmation bias, megegyezően a te következtetéseddel. Hol a probléma?
Nem kéne elveszni az ilyen részletekben, a fő tendenciákat kell látni.
bela2 2008.05.10. 23:18:11
Kedves Andras!
Csak hogy valaki a partodat is fogja - bar gondolom nincs szukseged ra...
Maximalisan igazad van, csak te elmeleti sikrol tekintesz a feladvanyra. Ellenlabasaid nem latnak ki a gyakorlati pelda mogul, azert nem ertik az ervelesed (pl. a fekete-feher mezoket). Sajnos ez a problema jellemzo altalanossagban is, nem tudunk elszakadni a foldhozragadt gondolkodastol, ami nem mindennapi "jozanparasztiesszel" felfoghato, az "fontoskodo tudomanyos hablaty". Az emberek nem vagynak az uj megismeresere, uj osszefuggesek felfedezesere, inkabb a vilag egyszerusitesere.
En csak biztatni tudlak, epp ezert van szukseg az ilyen blogokra!
Udv, bela
D 2008.05.10. 23:38:52
Kedves bela2!
Szerintem te ezt a vitát félreérted. Itt senki nem vitatja a confirmation bias létezésést. Az egyetlen, amit vitatunk, az a kísérlet eredményének értékelése.
És tökéletesen értjük a fekete-fehér mezős példát, de pont az a bajunk, hogy bizonyos szempontból rossz analógiának tartjuk. Azaz ez így nem igaz, hanem inkább egy olyan példának, aminél kicsi a torzítás - miközben megmutattuk, hogy tetszőleges irányú tetszőleges torzítást mutató feladatok is léteznek.
Szerintem te ezt a vitát félreérted. Itt senki nem vitatja a confirmation bias létezésést. Az egyetlen, amit vitatunk, az a kísérlet eredményének értékelése.
És tökéletesen értjük a fekete-fehér mezős példát, de pont az a bajunk, hogy bizonyos szempontból rossz analógiának tartjuk. Azaz ez így nem igaz, hanem inkább egy olyan példának, aminél kicsi a torzítás - miközben megmutattuk, hogy tetszőleges irányú tetszőleges torzítást mutató feladatok is léteznek.
nyari mikulas (törölt) 2008.05.10. 23:42:57
Andras, ezt kifejtened?
"Az 50% fölötti csökkenés beleillik az elméletbe, hiszen az már ellentétes irányú torzulás."
A blogban meg ezt irtad:
" a cáfoló visszajelzések arányának növelésével javíthatjuk leginkább az esélyünket arra, hogy egy efféle feladatnál eljussunk a helyes megoldáshoz."
A cafolatokbol nem latom, hogyan lehetne helytelen szabalyra kovetkeztetni?
Azzal egyetertek, hogy "Természetesen a ló túlsó oldalára sem kell átesni: ha csupa cáfoló visszajelzést kapunk hipotéziseinkre, akkor megintcsak nehezen tudjuk megtalálni a szabályt. "
A szabaly nem megtalalasa szerintem nem azonos a helytelen szabaly elfogadasaval.
Szoval ha valaki tobb mint 50%-ban cafolatot kap, az miert noveli az eselyet annak, hogy teves szabalyt allapitson meg?
"Az 50% fölötti csökkenés beleillik az elméletbe, hiszen az már ellentétes irányú torzulás."
A blogban meg ezt irtad:
" a cáfoló visszajelzések arányának növelésével javíthatjuk leginkább az esélyünket arra, hogy egy efféle feladatnál eljussunk a helyes megoldáshoz."
A cafolatokbol nem latom, hogyan lehetne helytelen szabalyra kovetkeztetni?
Azzal egyetertek, hogy "Természetesen a ló túlsó oldalára sem kell átesni: ha csupa cáfoló visszajelzést kapunk hipotéziseinkre, akkor megintcsak nehezen tudjuk megtalálni a szabályt. "
A szabaly nem megtalalasa szerintem nem azonos a helytelen szabaly elfogadasaval.
Szoval ha valaki tobb mint 50%-ban cafolatot kap, az miert noveli az eselyet annak, hogy teves szabalyt allapitson meg?
bela2 2008.05.10. 23:52:45
Eppen errol beszelek!
Nem ertitek a peldat. Ti kb. arrol beszeltek, hogy a felterkepezendo fekete terulet olyan nagy (=egyertelmu), hogy nem igazan lehet melletrafalni a probalkozassal. Ha meg mar jo sok fekete pontot talaltunk, a hatarokat nem is kell keresni. Az igazsag az, hogy barmekkora is (nagy vagy kicsi) a fekete terulet, korbe kell(ene) jarni!
Ti ugy erzitek, konnyu volt megtalalni a szabalyt. A tulnyomo tobbseg viszont nem megtalalta, hanem rahibazott.
Nem ertitek a peldat. Ti kb. arrol beszeltek, hogy a felterkepezendo fekete terulet olyan nagy (=egyertelmu), hogy nem igazan lehet melletrafalni a probalkozassal. Ha meg mar jo sok fekete pontot talaltunk, a hatarokat nem is kell keresni. Az igazsag az, hogy barmekkora is (nagy vagy kicsi) a fekete terulet, korbe kell(ene) jarni!
Ti ugy erzitek, konnyu volt megtalalni a szabalyt. A tulnyomo tobbseg viszont nem megtalalta, hanem rahibazott.
nyari mikulas (törölt) 2008.05.10. 23:53:42
Ha valaki masnak is trivialis, legyen olyan jo, es irjon par sort, mert nekem nem trivialis.
Hulye vagyok, de tanulni akarok.
Szoval ha valaki tobb mint 50%-ban cafolatot kap, az miert noveli az eselyet annak, hogy teves szabalyt allapitson meg?
Hulye vagyok, de tanulni akarok.
Szoval ha valaki tobb mint 50%-ban cafolatot kap, az miert noveli az eselyet annak, hogy teves szabalyt allapitson meg?
bela2 2008.05.11. 00:01:21
Tamas, a hatarfeluletek felterkepezesenel (altalanossagban) elhanyagolhato mennyisegu pontot kell tesztelnunk az alakzatok belsejeben. A hataron pedig egyenlo szamu fekete es feher pont van. Igy minel tobb pontra terjed ki a vizsgalat, annal kiegyenlitettebb kellene legyen az igaz/hamis arany. Termeszetesen egyedi peldakat, gondolatmenetet nehez statisztikai modszerekkel ertekelni, ezek inkabb trendek.
D 2008.05.11. 00:01:57
"Ti kb. arrol beszeltek, hogy a felterkepezendo fekete terulet olyan nagy (=egyertelmu), hogy nem igazan lehet melletrafalni a probalkozassal. Ha meg mar jo sok fekete pontot talaltunk, a hatarokat nem is kell keresni."
Nem, még csak hasonlóról sem. Arról beszélünk, hogy amennyiben nagyon kevés fekete pont van, azoknak a megtalálása közben nagyon sok fehéret fogunk kapni, viszont ha nagyon sok a fekete pont, akkor pedig fehérből keveset, és feketéből többet. Természetesen ha már megtaláltuk, hogy hol az átmenet, akkor a helyes stratégia szerint nyilván a megadottak szerint fogunk viselkedni, de az odáig eljutás befolyásolásával tetszőleges torzítást tudunk elérni.
Nem, még csak hasonlóról sem. Arról beszélünk, hogy amennyiben nagyon kevés fekete pont van, azoknak a megtalálása közben nagyon sok fehéret fogunk kapni, viszont ha nagyon sok a fekete pont, akkor pedig fehérből keveset, és feketéből többet. Természetesen ha már megtaláltuk, hogy hol az átmenet, akkor a helyes stratégia szerint nyilván a megadottak szerint fogunk viselkedni, de az odáig eljutás befolyásolásával tetszőleges torzítást tudunk elérni.
nyari mikulas (törölt) 2008.05.11. 00:03:00
Bela2,
nem allitotta senki, hogy konnyu volt megtalalni a szabalyt, egeszen masrol folyik a vita.
Van egy jelenseg: megerősítési torzítás, az angol nyelvű szakirodalomban confirmation bias.
Egyetertunk abban, hogy letezik.
Lexikon: Megerősítési torzítás az a tendencia, hogy ha egyszer egy nézetünket kinyilvánítottuk, minden ez után következő bizonyítékot a szerint ítélünk meg, hogy nézetünket amennyire csak lehetséges alátámassza.
ha angolul olvasol akkor ez talan jobb meghatarozas: "Confirmation bias refers to a type of selective thinking whereby one tends to notice and to look for what confirms one's beliefs, and to ignore, not look for, or undervalue the relevance of what contradicts one's beliefs."
Ebben az is benne van a fenti magyar meghatarozason tul, hogy nem keresunk olyan valaszt, ami varhatoan nem erositi meg a varakozasunkat.
Azt vitatjuk, hogy a fenti kiserlet ezt merte-e. Tobbunk szerint nem ezt merte.
nem allitotta senki, hogy konnyu volt megtalalni a szabalyt, egeszen masrol folyik a vita.
Van egy jelenseg: megerősítési torzítás, az angol nyelvű szakirodalomban confirmation bias.
Egyetertunk abban, hogy letezik.
Lexikon: Megerősítési torzítás az a tendencia, hogy ha egyszer egy nézetünket kinyilvánítottuk, minden ez után következő bizonyítékot a szerint ítélünk meg, hogy nézetünket amennyire csak lehetséges alátámassza.
ha angolul olvasol akkor ez talan jobb meghatarozas: "Confirmation bias refers to a type of selective thinking whereby one tends to notice and to look for what confirms one's beliefs, and to ignore, not look for, or undervalue the relevance of what contradicts one's beliefs."
Ebben az is benne van a fenti magyar meghatarozason tul, hogy nem keresunk olyan valaszt, ami varhatoan nem erositi meg a varakozasunkat.
Azt vitatjuk, hogy a fenti kiserlet ezt merte-e. Tobbunk szerint nem ezt merte.
nyari mikulas (törölt) 2008.05.11. 00:04:58
Bela2, kerlek ne ragadj le a terkepes peldanal, probald meg az eredeti szamos peldan kifejteni, "ha valaki tobb mint 50%-ban cafolatot kap, az miert noveli az eselyet annak, hogy teves szabalyt allapitson meg?"
bela2 2008.05.11. 00:06:28
A megerositesi torzitast merte a teszt. Es ti is ezt hangoztatjatok: Ha sok fekete pontot talaltunk es keves feheret, akkor nem kell koztuk megkeresni a hatart.
D 2008.05.11. 00:09:48
"Ha sok fekete pontot talaltunk es keves feheret, akkor nem kell koztuk megkeresni a hatart."
Mikor írt ilyet bárki? Mégegyszer elmondom: azon vitatkozunk, hogy a kísérletet befolyásolja, hogy a legelső fekete vagy legelső fehér pontot mennyi kísérlettel lehet megtalálni. Mert a határkeresés előtt legalább egy ellenkező színűt kell találni.
Mikor írt ilyet bárki? Mégegyszer elmondom: azon vitatkozunk, hogy a kísérletet befolyásolja, hogy a legelső fekete vagy legelső fehér pontot mennyi kísérlettel lehet megtalálni. Mert a határkeresés előtt legalább egy ellenkező színűt kell találni.
nyari mikulas (törölt) 2008.05.11. 00:11:12
"A megerositesi torzitast merte a teszt. Es ti is ezt hangoztatjatok: Ha sok fekete pontot talaltunk es keves feheret, akkor nem kell koztuk megkeresni a hatart. "
-A test szamokkal dolgozott, nem terkeppel.
-A hatar hol lenne mashol, mint a fekete es feher pontok kozott?
-A test szamokkal dolgozott, nem terkeppel.
-A hatar hol lenne mashol, mint a fekete es feher pontok kozott?
bela2 2008.05.11. 00:14:27
Megegyszer: a tartomanyok belsejeben veletlenul megtalalt fekete vagy feher pontok szama ELHANYAGOLHATO kellene legyen a hatarfeluleti pontok tesztelesehez kepest. Kerlek, probaljatok mar egy kicsit az ELMELETET megerteni! Nem arrol beszelunk, hogy 5 vagy 20 vagy akar 100 probalkozasbol mi az arany. Elmeletrol van szo!!! Es eppen ez a bias, hogy megelegedtek a belso pontokkal (meg itt is torzitva, amirol a ti vitatok szol) a hatarok keresese nelkul.
Szilágyi András 2008.05.11. 00:16:34
D: nem számít, hogy befolyásolja, nem a negatív válaszarány abszolút értékéből vonjuk le a következtetést, hanem a helyes és helytelen megoldók közötti különbségből. A kiinduló feltétel okozta torzítás mindkettőjüknél egyformán van jelen, viszont értelemszerűen a megerősítési torzítás a helytelen megoldóknál erősebb, mint a helyeseknél.
D 2008.05.11. 00:20:34
"Es eppen ez a bias, hogy megelegedtek a belso pontokkal (meg itt is torzitva, amirol a ti vitatok szol) a hatarok keresese nelkul."
Kérlek, értelmezd a szöveget, amit írunk. Senki nem azt mondta, hogy elégedjünk meg a példa szerinti belső pontokkal.
Kérlek, értelmezd a szöveget, amit írunk. Senki nem azt mondta, hogy elégedjünk meg a példa szerinti belső pontokkal.
D 2008.05.11. 00:27:28
"A kiinduló feltétel okozta torzítás mindkettőjüknél egyformán van jelen, viszont értelemszerűen a megerősítési torzítás a helytelen megoldóknál erősebb, mint a helyeseknél."
Ezzel egyetértek, de a helytelen megoldók pont a bias miatt kevesebb tesztet is végeznek, míg a helyes megoldókat az is zavarja, hogy túl sok pozitív megoldást kapnak. Ezért sok igenlő válasz mellett folyamatosan cáfolni akarnak, csak nem feltétlenül sikerül - de ez nem azt jelenti, hogy pozitív példát akarnak produkálni. Tehát a nagyon biasosokra szinte nem hat a torzítás, a kevéssé biasosokra viszont erősen.
Ezzel egyetértek, de a helytelen megoldók pont a bias miatt kevesebb tesztet is végeznek, míg a helyes megoldókat az is zavarja, hogy túl sok pozitív megoldást kapnak. Ezért sok igenlő válasz mellett folyamatosan cáfolni akarnak, csak nem feltétlenül sikerül - de ez nem azt jelenti, hogy pozitív példát akarnak produkálni. Tehát a nagyon biasosokra szinte nem hat a torzítás, a kevéssé biasosokra viszont erősen.
bela2 2008.05.11. 00:28:15
Nehez esetek vagytok!
A sajat VELETLENUL megtalalt belso pontjaitokkal vagytok megelegedve. Ti azt ertelmezitek bias-nak, hogy a VELETLENUL megtalalt jo es rossz pontok hogy aranylanak egymashoz. Pedig arrol van szo, hogy a tenylegesen kiegyenlito hatasu hatarkeresest meg sem teszitek. Ezt probaljatok mar megerteni, hogy tokeletesen mindegy kellene legyen, milyen meretu es elhelyezkedesu a fekete es feher terulet, a hatart mindenkeppen VEGTELEN szamu probalkozassal lehet csak megtalalni, aminek kb. fele-fele feher es fekete. Ennek egy valodi tesztpelda megoldasa nyilvan csak egy kisebb-nagyobb vetulete. Nem tokeletes, de legalabb lehet rajta merni.
A sajat VELETLENUL megtalalt belso pontjaitokkal vagytok megelegedve. Ti azt ertelmezitek bias-nak, hogy a VELETLENUL megtalalt jo es rossz pontok hogy aranylanak egymashoz. Pedig arrol van szo, hogy a tenylegesen kiegyenlito hatasu hatarkeresest meg sem teszitek. Ezt probaljatok mar megerteni, hogy tokeletesen mindegy kellene legyen, milyen meretu es elhelyezkedesu a fekete es feher terulet, a hatart mindenkeppen VEGTELEN szamu probalkozassal lehet csak megtalalni, aminek kb. fele-fele feher es fekete. Ennek egy valodi tesztpelda megoldasa nyilvan csak egy kisebb-nagyobb vetulete. Nem tokeletes, de legalabb lehet rajta merni.
Szilágyi András 2008.05.11. 00:30:07
Közben olvasgattam egy kis szakirodalmat. Érdekes, hogy egy Wetherick nevű fickó 1962-ban hasonló érvekkel kritizálta Wason kísérletét, mint ti, azaz hogy nem lehet tudni, ki mikor szánta megerősítésnek vagy cáfolatnak a próbáját. Wason erre további elemzésekkel és újabb kísérletekkel válaszolt, megerősítve korábbi következtetéseit. Megmutatta, hogy sok ember nemhogy nem alkalmazza a falszifikációt, de még a fogalmat sem érti.
D 2008.05.11. 00:38:33
"A sajat VELETLENUL megtalalt belso pontjaitokkal vagytok megelegedve."
Nem. Ugyanis adott a kiinduló kezdőpont, ami itt a kezdeti számhármasnak felel meg.
Határértékben (végtelen pont) természetesen igazad van. De mi arról beszélünk, hogy egy emberekkel végzett kísérletben nem lesz végtelen teszt, és adott esetben a lassú konvergencia miatt adódhat torzítás.
Nem. Ugyanis adott a kiinduló kezdőpont, ami itt a kezdeti számhármasnak felel meg.
Határértékben (végtelen pont) természetesen igazad van. De mi arról beszélünk, hogy egy emberekkel végzett kísérletben nem lesz végtelen teszt, és adott esetben a lassú konvergencia miatt adódhat torzítás.
Szilágyi András 2008.05.11. 00:38:34
"Tehát a nagyon biasosokra szinte nem hat a torzítás, a kevéssé biasosokra viszont erősen."
Ez eléggé spekulatív megállapítás. De mindegy is, mert ennek ellenére látjuk a kisebb biast a helyes megoldóknál a negatívarányban is és a próbaszámban is.
Egyre inkább az az érzésem, hogy az motivál benneteket, hogy nektek is kevés negatív próbátok volt, és meg vagytok sértődve, hogy valaki azt mondja, hogy nálatok is lehetett bias. Még mit nem! A feladat volt rossz! Na persze.
Ez eléggé spekulatív megállapítás. De mindegy is, mert ennek ellenére látjuk a kisebb biast a helyes megoldóknál a negatívarányban is és a próbaszámban is.
Egyre inkább az az érzésem, hogy az motivál benneteket, hogy nektek is kevés negatív próbátok volt, és meg vagytok sértődve, hogy valaki azt mondja, hogy nálatok is lehetett bias. Még mit nem! A feladat volt rossz! Na persze.
bela2 2008.05.11. 00:41:57
A kiindulopont 1 pont. Vesd ossze a vegtelennel. Vagy maradjunk a foldon :-) es vesd ossze a nagyon sokkal.
bela2 2008.05.11. 00:50:52
Andras, rokonlelkek vagyunk. En is valamifele furcsan ertelmezett presztizsfeltest erzek. Kicsit hasonlo a helyzet a kartyas teszt utanival, bar most itt szerencsere sokkal magasabb szintu a vita. Mindenesetre a magyar nem hibazhat, esetleg csobe huzhatjak vagy hibas kovetkeztetest vonhatnak le rola. Pedig ez nem arrol szol, hogy hulye aki nem hozta ki az 50%-ot, egyszeruen csak ilyenek vagyunk.
nyari mikulas (törölt) 2008.05.11. 01:16:23
Andras, nagyon olcso dolog, a vitapartner szemelyet tamadni.
Altalaban ez azt mutatja, hogy valaki kifogyott az ervekbol.
Argumentum ad hominem, ha ismered a fogalmat. Ha nem, akkor en.wikipedia.org/wiki/Ad_hominem
Mellesleg tevedsz, elegendoen sok negativ visszajelzesem volt, nagy szamokra, negativ szamokra is teszteltem. Sajnalatos, hogy nem orizted meg IP szerint a valaszokat.
A kiserlet valoban jol szemlelteti a megerositesi torzitast.
Abban nem ertunk egyet, hogy a negativ valaszok aranya meroszama lehetne a torzitasnak.
Abban sem ertunk egyet, hogy ebben a konkret kiserletben eppen 50% lett volna a torzitas nelkuli legmegbizhatobban helyes eredmenyt ado strategia.
Erre megprobalhatsz ervelni, ha az ervedet nem ertjuk, akkor megprobalhatod mashogy megkozelitve kifejteni az allaspontodat.
Vagy sertodotten lezarod a vitat azzal, hogy neked van igazad, mi ostoba kotozkodok vagyunk.
Altalaban ez azt mutatja, hogy valaki kifogyott az ervekbol.
Argumentum ad hominem, ha ismered a fogalmat. Ha nem, akkor en.wikipedia.org/wiki/Ad_hominem
Mellesleg tevedsz, elegendoen sok negativ visszajelzesem volt, nagy szamokra, negativ szamokra is teszteltem. Sajnalatos, hogy nem orizted meg IP szerint a valaszokat.
A kiserlet valoban jol szemlelteti a megerositesi torzitast.
Abban nem ertunk egyet, hogy a negativ valaszok aranya meroszama lehetne a torzitasnak.
Abban sem ertunk egyet, hogy ebben a konkret kiserletben eppen 50% lett volna a torzitas nelkuli legmegbizhatobban helyes eredmenyt ado strategia.
Erre megprobalhatsz ervelni, ha az ervedet nem ertjuk, akkor megprobalhatod mashogy megkozelitve kifejteni az allaspontodat.
Vagy sertodotten lezarod a vitat azzal, hogy neked van igazad, mi ostoba kotozkodok vagyunk.
frank 2008.05.11. 01:23:37
"A kiindulopont 1 pont. Vesd ossze a vegtelennel."
Nem azzal kell osszevetni, mert a legtobben nem fognak 20-nal tobb probat tenni, mert megunjak. Viszont a kezdeti 4-5 probalkozas a specialis (sot, szerintem extrem) modon valasztott feladat miatt varhatoan pozitiv valaszt fog adni, ami eleg ahhoz, hogy eltorzitsa az eredmenyt.
"Egyre inkább az az érzésem, hogy az motivál benneteket, hogy nektek is kevés negatív próbátok volt, és meg vagytok sértődve, hogy valaki azt mondja, hogy nálatok is lehetett bias. Még mit nem! A feladat volt rossz! Na persze."
Ez az erv szanalmas. Egyreszt ad hominem, masreszt sajat confirmation biasod kivetitese, harmadreszt szerinted ki a fene emlekszik mar, hany negativ probaja volt?? Talan a kitoltok 1%-a.
Nekem halvany fogalmam sincs a sajatomrol. Sot, az 5. probanal mar reg elfelejtettem az 1. probam szamharmasat is, csak annyira emlekeztem, hogy "ezesez a szabaly mar megcafolodott". Egyebek mellett ezert is hulyeseg a pozitiv probak szamabol confirmation biasra kovetkeztetni.
Nem azzal kell osszevetni, mert a legtobben nem fognak 20-nal tobb probat tenni, mert megunjak. Viszont a kezdeti 4-5 probalkozas a specialis (sot, szerintem extrem) modon valasztott feladat miatt varhatoan pozitiv valaszt fog adni, ami eleg ahhoz, hogy eltorzitsa az eredmenyt.
"Egyre inkább az az érzésem, hogy az motivál benneteket, hogy nektek is kevés negatív próbátok volt, és meg vagytok sértődve, hogy valaki azt mondja, hogy nálatok is lehetett bias. Még mit nem! A feladat volt rossz! Na persze."
Ez az erv szanalmas. Egyreszt ad hominem, masreszt sajat confirmation biasod kivetitese, harmadreszt szerinted ki a fene emlekszik mar, hany negativ probaja volt?? Talan a kitoltok 1%-a.
Nekem halvany fogalmam sincs a sajatomrol. Sot, az 5. probanal mar reg elfelejtettem az 1. probam szamharmasat is, csak annyira emlekeztem, hogy "ezesez a szabaly mar megcafolodott". Egyebek mellett ezert is hulyeseg a pozitiv probak szamabol confirmation biasra kovetkeztetni.
Szilágyi András 2008.05.11. 01:26:51
tamás, én veled nem akarok vitatkozni, mert olyan, mintha a falnak beszélnék. Ugyanott tartasz, mint százötven hozzászólással ezelőtt, bebetonoztad magad a véleményedbe. Nem, nem fogom a te kedvedért elismételni az összes korábbi érvelést újra, mert fárasztó és úgysem használ.
nyari mikulas (törölt) 2008.05.11. 01:30:24
Bela2: Nekem a presztizsem nem mulik azon, hogy Andras helyesen ertelmezi-e a kiserleti adatait, vagy sem.
Itt a szkeptikusoknak ugy illene, hogy ne a presztizs, ne a tekintelytisztelet, hanem az igazsag keresese motivaljon.
Lehet, hogy tevedek. De egyelore meg vagyok gyozodve a sajat allaspontomrol. Azert utkoztetem az erveket, hogy magam szamara kideruljon, felreertek-e valamit, ha igen mit, miert.
Ebbol tanulnek.
Kuatato vagyok, szakmam kiserletek tervezese. Ennek nagyon fontos resze a negativ kontroll kiserletek alkalmazasa. Nem tudom elegge hangsulyozni a negativ kontrollok fontossagat. De nem latom be, hogy miert hatranyos az, tobb poztiv kimenetelu kiserletet vegzek, mint olyat, aminek negativ az eredmenye.
Ha az igazsag az, hogy 50%-ban kell sikertelen, negativ eredmenyu kiserletet vegezni (ez a fenti kiserlet allitasa Andras szerint, ha jol ertem), vagy akar csak 50%-ban kell negativ kontrollt tervezni (ez az en olvasatom a megerositesi tevedesrol), akkor szeretnem megerteni, hogy miert, es utana magam is alkalmaznam, es tanitanam azoknak, akikkel egyutt dolgozok.
Ennyi.
Ha valaki latja miben tevedek, es veszi a faradsagot, hogy ramutasson, megkoszonom.
Itt a szkeptikusoknak ugy illene, hogy ne a presztizs, ne a tekintelytisztelet, hanem az igazsag keresese motivaljon.
Lehet, hogy tevedek. De egyelore meg vagyok gyozodve a sajat allaspontomrol. Azert utkoztetem az erveket, hogy magam szamara kideruljon, felreertek-e valamit, ha igen mit, miert.
Ebbol tanulnek.
Kuatato vagyok, szakmam kiserletek tervezese. Ennek nagyon fontos resze a negativ kontroll kiserletek alkalmazasa. Nem tudom elegge hangsulyozni a negativ kontrollok fontossagat. De nem latom be, hogy miert hatranyos az, tobb poztiv kimenetelu kiserletet vegzek, mint olyat, aminek negativ az eredmenye.
Ha az igazsag az, hogy 50%-ban kell sikertelen, negativ eredmenyu kiserletet vegezni (ez a fenti kiserlet allitasa Andras szerint, ha jol ertem), vagy akar csak 50%-ban kell negativ kontrollt tervezni (ez az en olvasatom a megerositesi tevedesrol), akkor szeretnem megerteni, hogy miert, es utana magam is alkalmaznam, es tanitanam azoknak, akikkel egyutt dolgozok.
Ennyi.
Ha valaki latja miben tevedek, es veszi a faradsagot, hogy ramutasson, megkoszonom.
nyari mikulas (törölt) 2008.05.11. 01:32:50
Andras: en is igy latom, hogy olyan, mintha a falnak beszélnék. Ugyanott tartasz, mint százötven hozzászólással ezelőtt, bebetonoztad magad a véleményedbe.
En megprobalom mas oldalrol megvilagitani, miert gondolom ugy.
Nagyon sajnalom, hogy farasztalak.
En megprobalom mas oldalrol megvilagitani, miert gondolom ugy.
Nagyon sajnalom, hogy farasztalak.
bela2 2008.05.11. 01:38:04
Tamas, leegyszerusitve: Ha valamit bizonyitani akarsz, akkor eleg a (sok v. nehany) pozitiv eredmenyu kiserlet. Ha cafolni, akkor a negativ kimenetelueken van a hangsuly. Ha ismeretlent meghatarozni, akkor lenyeges mindketto. Hogy tudd, hol a hatar a jo es rossz kozott. A fenti teszt arrol szolt, hogy ha sokszor (tobbszor) kapok pozitiv visszaigazolast a feltetelezett velemenyemre, hajlamos vagyok igaznak erezni. Pedig kereshetnek (es ha alaposan keresek, talalhatnek) cafolatokat is. De azokat nem szeretjuk annyira.
nyari mikulas (törölt) 2008.05.11. 01:43:15
Bela2 utolso hozzaszolasoddal egyetertek. Nem ezt vitatjuk.
A vita targya, egyfelol, az,
-hogy a pozitiv/negativ valaszok aranya meroszama-e a megerositesi tevedesnek, *
masfelol az,
-hogy ebben a konkret esetben, vagy altalaban pontosan 50% negativ valasz-e az optimalis a feladat helyes megoldasahoz
* a feladat valoban szemleltette amit irsz, de paran ugy veljuk, hogy a kapott negativ/poztiv valaszok aranya ennek nem meroszama.
A vita targya, egyfelol, az,
-hogy a pozitiv/negativ valaszok aranya meroszama-e a megerositesi tevedesnek, *
masfelol az,
-hogy ebben a konkret esetben, vagy altalaban pontosan 50% negativ valasz-e az optimalis a feladat helyes megoldasahoz
* a feladat valoban szemleltette amit irsz, de paran ugy veljuk, hogy a kapott negativ/poztiv valaszok aranya ennek nem meroszama.
nyari mikulas (törölt) 2008.05.11. 01:47:16
Ujraolvasva: "Ha valamit bizonyitani akarsz, akkor eleg a (sok v. nehany) pozitiv eredmenyu kiserlet."
Amikor valami ismeretlent akarok meghatarozni, peldaul ebben a feladatban a szabalyt, akkor ranezek, van egy otletem, hogy mi lehet szabaly es azt probalom bizonyitani. Ehhez, mint ez a feladat nagyon jol megvilagitja, nem elegsegesek a pozitiv eredmenyu kiserletek.
Ezt a feladatot nem lehet helyesen megoldani negativ eredmenyu probalkozasok nelkul.
Ilyen szempontbol nagyon tanulsagos.
Amikor valami ismeretlent akarok meghatarozni, peldaul ebben a feladatban a szabalyt, akkor ranezek, van egy otletem, hogy mi lehet szabaly es azt probalom bizonyitani. Ehhez, mint ez a feladat nagyon jol megvilagitja, nem elegsegesek a pozitiv eredmenyu kiserletek.
Ezt a feladatot nem lehet helyesen megoldani negativ eredmenyu probalkozasok nelkul.
Ilyen szempontbol nagyon tanulsagos.
bela2 2008.05.11. 01:48:21
Mivel a tulnyomo tobbseg megelegedett a kezdeti kusza probalkozasok kiertekelesevel es nem torodott a hatarkeresessel, a meroszam jogos. Mar csak azert is, mert ti is megegyeztetek, hogy lenyegesen tobb hibas szamharmas letezik, mint megfelelo, megis a pozitiv probak voltak tobben. A tobbseg elofeltetelezesekkel elt, amiket bizonyitott (pozitiv iranyban). Ez mi mas, ha nem bias?
nyari mikulas (törölt) 2008.05.11. 02:48:24
Bela2:
Megprobalom mashogy kifejteni, hogy szerintem miert kell tobb pozitiv valszt ado proba, mint negativ.
Eloszor is, amig nem talalom meg a valodi szabalyt, addig meg azok a kerdesek, amikkel cafolni szeretnem a pillanatnyi hipotezisemet, azok egy resze is poztiv valaszt ad.
Kiindulok abbol, hogy nyilvan a 2,4,6,8,10... szamsor a megoldas.
Tesztelem: 4,6,8 10,12,14 stb
Megprobalok egy hibas peldat:
2,4,10 ezt a szamitogep helyesnek iteli, ott szamolja, pedig ez egy "falszifikacio" ez olyan proba volt aminek a szandeka a hipotezisem cafoltat volt, es sikeresen cafoltam a hipotezist.
Nem veletlen, hogy "Wason minden számhármashoz indoklást kért".
En a bias definiciojabol kiindulva azt a szamharmast tekintettem volna pozitivnak, amelyik megfelel az eppen vizsgalt hipotezisnek.
(Andras: mi a velemenyed errol: Talan hogy azert nem ertjuk egymast, mert en azt mondom, hogy ez meroszam a bias, Te meg azt mondod, hogy ez a meroszam jol korrelal a "nem helyes" valaszok szamaval?
Ha igy gondolod, akkor egyetertunk.)
Korabban Andras tett egy nagyon erdekes megjegyzest.
"De mi van, ha én most elárulom, hogy hazudtam, nem az volt a szabály, hogy növekvő számsort kell megadni, hanem azt, hogy vagy növekvő számsort kell megadni, vagy mínusz ezernél kisebb tetszőleges számokat?"
Gondold ezt tovabb. Mi lett volna, ha a szabaly az, barmilyen tetszoleges szamharmas megfelel? Minden proba "megfelel" valaszt eredmenyezett volna.
Mi lett volna, ha az a szabaly az, hogy csak a 2,4,6 szamok ebben sorrenben? Nagyon magas lett volna a "nem felel meg valaszok" aranya.
Tehat nem a "megfelel" es "nem felel meg" valaszok aranya az ami a biast mutatja.
De ebben a konkret kiserletben a valszok aranya korrelal a biasszal.
Megprobalom mashogy kifejteni, hogy szerintem miert kell tobb pozitiv valszt ado proba, mint negativ.
Eloszor is, amig nem talalom meg a valodi szabalyt, addig meg azok a kerdesek, amikkel cafolni szeretnem a pillanatnyi hipotezisemet, azok egy resze is poztiv valaszt ad.
Kiindulok abbol, hogy nyilvan a 2,4,6,8,10... szamsor a megoldas.
Tesztelem: 4,6,8 10,12,14 stb
Megprobalok egy hibas peldat:
2,4,10 ezt a szamitogep helyesnek iteli, ott szamolja, pedig ez egy "falszifikacio" ez olyan proba volt aminek a szandeka a hipotezisem cafoltat volt, es sikeresen cafoltam a hipotezist.
Nem veletlen, hogy "Wason minden számhármashoz indoklást kért".
En a bias definiciojabol kiindulva azt a szamharmast tekintettem volna pozitivnak, amelyik megfelel az eppen vizsgalt hipotezisnek.
(Andras: mi a velemenyed errol: Talan hogy azert nem ertjuk egymast, mert en azt mondom, hogy ez meroszam a bias, Te meg azt mondod, hogy ez a meroszam jol korrelal a "nem helyes" valaszok szamaval?
Ha igy gondolod, akkor egyetertunk.)
Korabban Andras tett egy nagyon erdekes megjegyzest.
"De mi van, ha én most elárulom, hogy hazudtam, nem az volt a szabály, hogy növekvő számsort kell megadni, hanem azt, hogy vagy növekvő számsort kell megadni, vagy mínusz ezernél kisebb tetszőleges számokat?"
Gondold ezt tovabb. Mi lett volna, ha a szabaly az, barmilyen tetszoleges szamharmas megfelel? Minden proba "megfelel" valaszt eredmenyezett volna.
Mi lett volna, ha az a szabaly az, hogy csak a 2,4,6 szamok ebben sorrenben? Nagyon magas lett volna a "nem felel meg valaszok" aranya.
Tehat nem a "megfelel" es "nem felel meg" valaszok aranya az ami a biast mutatja.
De ebben a konkret kiserletben a valszok aranya korrelal a biasszal.
nyari mikulas (törölt) 2008.05.11. 05:51:03
folytatas:
Masodszor, egy szabaly tesztelesenel tobb pozitiv probat is teszek, amelyek a szabaly ervenyessegi koret tisztazzak.
Az elozo peldanal maradva, a 2,4,6,8,10... feltevest ellenoriznem kell nagy szamokra, nagyon nagy samokra nullat tartalmazo szamharmasokra es negativ szamokra is.
Ugyanakkor egyetlen nemleges valasz elegendo ahhoz, hogy egy hipotezist elvessek, ha peldaul latom, hogy a 4,6,10 helyes, akkor egyetlen lepesben elvetem a hipotezist, es ujat kezdek tesztelni.
Tehat tobb oka is van annak, hogy tobb pozitiv kimenetelu valaszt tesztelek, ezek egy resze nem a bias kovetkezmenye, a kiserlet megis oda szamolja.
Masodszor, egy szabaly tesztelesenel tobb pozitiv probat is teszek, amelyek a szabaly ervenyessegi koret tisztazzak.
Az elozo peldanal maradva, a 2,4,6,8,10... feltevest ellenoriznem kell nagy szamokra, nagyon nagy samokra nullat tartalmazo szamharmasokra es negativ szamokra is.
Ugyanakkor egyetlen nemleges valasz elegendo ahhoz, hogy egy hipotezist elvessek, ha peldaul latom, hogy a 4,6,10 helyes, akkor egyetlen lepesben elvetem a hipotezist, es ujat kezdek tesztelni.
Tehat tobb oka is van annak, hogy tobb pozitiv kimenetelu valaszt tesztelek, ezek egy resze nem a bias kovetkezmenye, a kiserlet megis oda szamolja.
bela2 2008.05.11. 09:30:51
Tamas, kerlek szakadj el a konkret peldatol es ertsd meg az elmeletet. Ha azt erted, erteni fogod a pelda altal mutatott vetuletet is.
Az elmeletben vegtelen szamu fekete es feher pont van. Ez igy van a peldaban is, vegtelen szamu jo es rossz szamharmas letezik. Ha barmelyik mezot egy (vagy veges) pontra korlatozod, akkor jo nagyot torzitasz az elmeleten. Ott mar csak torzitva lehetne merni a torzitast :-), de a trend valoszinuleg ott is latszana.
Az elmeletben vegtelen szamu fekete es feher pont van. Ez igy van a peldaban is, vegtelen szamu jo es rossz szamharmas letezik. Ha barmelyik mezot egy (vagy veges) pontra korlatozod, akkor jo nagyot torzitasz az elmeleten. Ott mar csak torzitva lehetne merni a torzitast :-), de a trend valoszinuleg ott is latszana.
bela2 2008.05.11. 09:40:16
Masreszt hiaba ellenorzod a sajat szabalyod negativ iranyban, ha a kiserlet pozitiv eredmenyt hoz. Attol meg a fekete tartomany belsejeben jarsz, nem a hatarokat feszegeted. Meg az egyszeru szabalynal is "foldhozragadtabb" feltevesekkel elsz, amit cafolni probalsz, de nem sikerul. Kicsit tullepve a terkepes peldan: ket dimenzioban keresed a megoldast, es elfogadod a sik egyik felet (vagy hatodat), de eszedbe sem jut harom dimenzioban gondolkodni. (Ne haborodj fel, nem matematikai a lekepezesem, ugy persze nem igaz, de probalok koltoi kepeket hasznalni...)
nyari mikulas (törölt) 2008.05.11. 13:29:45
Bela, az elmeletet ugy gondolom ertem, es elfogadom, nem vitatom.
Amit vitatunk, hogy a kapott poztiv (megerosito, feher) valaszok, vagy pedig az elvart poztiv (megerosito, feher) valaszok aranya mutatja-e a megerositesi torzitast?
Amit en szinten vitatok, hogy altalaban, 50% kapott vagy elvart (itt mindegy, mivel szerintem egyik sem) poztiv (megerosito, feher) valasz arany-e a torzitasnentesseg feltetele?
Ugy gondolom, hogy te arrol irsz, hogy helyes valasz megtalalasahoz szukseges elegendoen magas szamu helyes es heyltelen (vagy fekete es feher) valasz ismerete.
Egyetertunk.
Tegyuk fel, hogy a hatarvonalnak az a szakasza amit terkepeznunk kell a fekete es a feher terulet kozott egy egyenes.
Valoban az a leghatekonyabb, leggyorsabb strategia, hogy cikk-cakkban haladsz, ahanyszor fekete teruletre ersz a feherbol, fordulsz, es viszont.
Mivel egy rovid es egyenes szakaszt terkepezel, 7 pont az egyik oldalon es 7 a masikon eleg jol meghatarozza a vonalat.
Amit en nem latok be, hogy mi a kulonbseg a kovetkezo harom megoldas kozott:
A 14 pontot nezett meg, 7 feheret es het feketet.
B 114 pontot nezett meg 107 feheret es 7 feketet (megnezte ugyanazt a het-het pontot amiket A es ezen kivul meg megnezett 100 masikat, amik mind feherek voltak).
C 114 pontot nezett meg 7 feheret es 107 feketet (megnezte ugyanazt a het-het pontot amiket A es ezen kivul meg megnezett 100 masikat, amik mind feketek voltak).
Szerintem A, B es C ugyanazt a hatart fogja lerajzolni mint A. Nem fog torzulni a hatarrol az elkepzelesuk attol, hogy ismernek tovabbi 100 pontot, amikrol tudjak, hogy nem hatar.
Amit vitatunk, hogy a kapott poztiv (megerosito, feher) valaszok, vagy pedig az elvart poztiv (megerosito, feher) valaszok aranya mutatja-e a megerositesi torzitast?
Amit en szinten vitatok, hogy altalaban, 50% kapott vagy elvart (itt mindegy, mivel szerintem egyik sem) poztiv (megerosito, feher) valasz arany-e a torzitasnentesseg feltetele?
Ugy gondolom, hogy te arrol irsz, hogy helyes valasz megtalalasahoz szukseges elegendoen magas szamu helyes es heyltelen (vagy fekete es feher) valasz ismerete.
Egyetertunk.
Tegyuk fel, hogy a hatarvonalnak az a szakasza amit terkepeznunk kell a fekete es a feher terulet kozott egy egyenes.
Valoban az a leghatekonyabb, leggyorsabb strategia, hogy cikk-cakkban haladsz, ahanyszor fekete teruletre ersz a feherbol, fordulsz, es viszont.
Mivel egy rovid es egyenes szakaszt terkepezel, 7 pont az egyik oldalon es 7 a masikon eleg jol meghatarozza a vonalat.
Amit en nem latok be, hogy mi a kulonbseg a kovetkezo harom megoldas kozott:
A 14 pontot nezett meg, 7 feheret es het feketet.
B 114 pontot nezett meg 107 feheret es 7 feketet (megnezte ugyanazt a het-het pontot amiket A es ezen kivul meg megnezett 100 masikat, amik mind feherek voltak).
C 114 pontot nezett meg 7 feheret es 107 feketet (megnezte ugyanazt a het-het pontot amiket A es ezen kivul meg megnezett 100 masikat, amik mind feketek voltak).
Szerintem A, B es C ugyanazt a hatart fogja lerajzolni mint A. Nem fog torzulni a hatarrol az elkepzelesuk attol, hogy ismernek tovabbi 100 pontot, amikrol tudjak, hogy nem hatar.
bela2 2008.05.11. 13:42:11
OK, kozelitsuk meg masfelol.
Minel tobb pontot talalsz egy alakzatrol, annal tobbet tudsz mondani a belsejerol, merthogy a pontok mindig belulrol szarmaznak. Ha eleg sok egyszinu pontod van, bekarikazod oket, es rajuk huzol egy szabalyt. De nem tudod, hogy a szabalyod es az ellenkezo szinu pontok KOZOTT mi van.
Egyebkent megint elofeltevessel eltel, es bebizonyitottad, hogy egyenes a hatar. Pedig nem biztos, hogy az.
A fekete vagy eppen feher pontok tulsulya nem jobb vagy rosszabb egymasnal, de mindenkeppen rosszabb az egyensulynal. Vagyis torzulas. A kiserlet azt mutatta, hogy-hogynem jellemzo a pozitiv torzulas, mert ilyen az emberi termeszet.
Minel tobb pontot talalsz egy alakzatrol, annal tobbet tudsz mondani a belsejerol, merthogy a pontok mindig belulrol szarmaznak. Ha eleg sok egyszinu pontod van, bekarikazod oket, es rajuk huzol egy szabalyt. De nem tudod, hogy a szabalyod es az ellenkezo szinu pontok KOZOTT mi van.
Egyebkent megint elofeltevessel eltel, es bebizonyitottad, hogy egyenes a hatar. Pedig nem biztos, hogy az.
A fekete vagy eppen feher pontok tulsulya nem jobb vagy rosszabb egymasnal, de mindenkeppen rosszabb az egyensulynal. Vagyis torzulas. A kiserlet azt mutatta, hogy-hogynem jellemzo a pozitiv torzulas, mert ilyen az emberi termeszet.
frank 2008.05.11. 13:46:33
szerintem ez a fekete alakzat analogia nem tul jo. a konkret feladatban szamharmasok egy reszhalmazat kellett megkeresni, ezek milyen ertelemben alkotnanak osszefuggo alakzatot?? es mi felelne meg a hatarnak?
nyari mikulas (törölt) 2008.05.11. 13:49:18
Hasonlitsd ossze Andras ket abrajat (a cikkben es egy hozzaszolasaban).
A cikkbeli abra azt mutatja, hogy a pontosan het kiserletet vegzo jatekozok eseten a helyes szabaly megtalalasa aranyos volt kapott a nem felel meg (cafolat) valaszok szamaval. A grafikon egyenletesen no 71% cafolatig, amikor is 100%-ban helyes szabalyt allapitanak meg a jatekosok.
Ha ezt a grafikont nezed, akkor arra kell kovetkeztess, hogy ketszer tobb cafolat kell a helyes valaszhoz.
Ha nadras kesobb elkeszitett abrajat nezed, azon az osszes jatekost feldolgozta, ott szkeptikus.blog.hu/media/image/negarany.gif 30 es 55% megerosito valasz alapjan kozel ugyannyi volt a helyes megfejtes, a legmagasabb epp 50% megerosito valasz eseten.
Egy harmadik szam: az osszes helyesen valaszolot egyben vizsgalva 35.6% cafolt kerdest kaptunk.
Akkor most 71% vagy 50% vagy 35.6% cafolt valasz szukseges?
Nem az _arany_ az ami szamit szerintem, hanem az, hogy szukseges bizonyos _szamu_ cafolatot kapjunk a helyes megoldashoz. A kiserletben ez legalabb 5 cafolatot jelentett.
A ket abra kozotti kulonbseg abbol adodik, hogy az eso abranal csak azok szerepelnek akik 7 kerdest tettek fel, a masik abran pedig az osszes jatekos, azok is, akik sokkal tobb kerdest tettek fol.
A szamok alatamasztjak azt az elkepzelesemet, hogy nem a cafolt valaszok aranya az ami lenyeges.
A cikkbeli abra azt mutatja, hogy a pontosan het kiserletet vegzo jatekozok eseten a helyes szabaly megtalalasa aranyos volt kapott a nem felel meg (cafolat) valaszok szamaval. A grafikon egyenletesen no 71% cafolatig, amikor is 100%-ban helyes szabalyt allapitanak meg a jatekosok.
Ha ezt a grafikont nezed, akkor arra kell kovetkeztess, hogy ketszer tobb cafolat kell a helyes valaszhoz.
Ha nadras kesobb elkeszitett abrajat nezed, azon az osszes jatekost feldolgozta, ott szkeptikus.blog.hu/media/image/negarany.gif 30 es 55% megerosito valasz alapjan kozel ugyannyi volt a helyes megfejtes, a legmagasabb epp 50% megerosito valasz eseten.
Egy harmadik szam: az osszes helyesen valaszolot egyben vizsgalva 35.6% cafolt kerdest kaptunk.
Akkor most 71% vagy 50% vagy 35.6% cafolt valasz szukseges?
Nem az _arany_ az ami szamit szerintem, hanem az, hogy szukseges bizonyos _szamu_ cafolatot kapjunk a helyes megoldashoz. A kiserletben ez legalabb 5 cafolatot jelentett.
A ket abra kozotti kulonbseg abbol adodik, hogy az eso abranal csak azok szerepelnek akik 7 kerdest tettek fel, a masik abran pedig az osszes jatekos, azok is, akik sokkal tobb kerdest tettek fol.
A szamok alatamasztjak azt az elkepzelesemet, hogy nem a cafolt valaszok aranya az ami lenyeges.
nyari mikulas (törölt) 2008.05.11. 13:56:23
Bela, fennakadsz a reszleteken. Mindegy, hogy milyen alaku a haratvonal, A, B es C ugyanazt a hatart fogja lerajzolni.
Amugy valoban nem jo az analogia a szamokkal vegzett kiserlethez szerintem sem. A megismeresi folyamat mas, a szamoknal szabalyt keresunk, a hatar eseten egy konkret vonalat.
A szamoknal elegendo egy olyan valasz, hogy peldaul barmilyen paratlan szam megfelel, a hatar eseten nincs olyan valasz, hogy barmilyen hullamvonal jo. Vagy a konkret szampelda analogiaja a hatar eseten, hogy minel keletebbre terkepezel keresed, annal inkabb eszak fele gorbul a hatar es mindegy, hogy mennyivel eszakabbra, a lenyeg, hogy a keletebbre levo pontok eszakabbra vannak a nyugati pontoknal. ;-)
Amugy valoban nem jo az analogia a szamokkal vegzett kiserlethez szerintem sem. A megismeresi folyamat mas, a szamoknal szabalyt keresunk, a hatar eseten egy konkret vonalat.
A szamoknal elegendo egy olyan valasz, hogy peldaul barmilyen paratlan szam megfelel, a hatar eseten nincs olyan valasz, hogy barmilyen hullamvonal jo. Vagy a konkret szampelda analogiaja a hatar eseten, hogy minel keletebbre terkepezel keresed, annal inkabb eszak fele gorbul a hatar es mindegy, hogy mennyivel eszakabbra, a lenyeg, hogy a keletebbre levo pontok eszakabbra vannak a nyugati pontoknal. ;-)
Szilágyi András 2008.05.11. 14:12:27
tamás,
az adataim szerint a negatív válaszok aránya jobban korrelál a válasz helyességével, mint az abszolút számuk (0,69 vs. 0,51).
Fölösleges azon lovagolni, hogy 50% vagy 40 vagy 70 az optimum, ez nem ennyire egzakt dolog, más tényezőktől is függ. Van egy korreláció, ennyi. Magasabb próbaszám mellett kisebb arány is elég.
az adataim szerint a negatív válaszok aránya jobban korrelál a válasz helyességével, mint az abszolút számuk (0,69 vs. 0,51).
Fölösleges azon lovagolni, hogy 50% vagy 40 vagy 70 az optimum, ez nem ennyire egzakt dolog, más tényezőktől is függ. Van egy korreláció, ennyi. Magasabb próbaszám mellett kisebb arány is elég.
bela2 2008.05.11. 14:17:39
Lassan le is zarom a borso falra hanyasat.
Probaljatok egy kicsit elvonatkoztatni. Ugymond absztrahalni.
A modellben egy pont = egy szamharmas. A fekete jo, a feher nem (vagy forditva, tokmindegy). A hatarvonal maga a szabaly, amit keresunk. Nem tudjuk, hogy egyenes vagy hullamos, lehet barmilyen.
Minimalis (veges szamu, raadasul keves) kiserlettel nem lehet MEGTALALNI a szabalyt, csak RAHIBAZNI vagy ELRONTANI.
A teszt azt mutatta, hogy szinte mindenkinek lenyegesen tobb pozitiv kiserlete volt, mint negativ, raadasul az elrontoknak aranyaiban meg tobb, mint a rahibazoknak.
Erdekes (termeszetes?) modon megerositesi torzulast MUTATOTT (szamszakilag is) nem pedig cafolatit vagy egyensulyt.
Senki nem allitotta, hogy ez igy rossz. Ez igy van.
Probaljatok egy kicsit elvonatkoztatni. Ugymond absztrahalni.
A modellben egy pont = egy szamharmas. A fekete jo, a feher nem (vagy forditva, tokmindegy). A hatarvonal maga a szabaly, amit keresunk. Nem tudjuk, hogy egyenes vagy hullamos, lehet barmilyen.
Minimalis (veges szamu, raadasul keves) kiserlettel nem lehet MEGTALALNI a szabalyt, csak RAHIBAZNI vagy ELRONTANI.
A teszt azt mutatta, hogy szinte mindenkinek lenyegesen tobb pozitiv kiserlete volt, mint negativ, raadasul az elrontoknak aranyaiban meg tobb, mint a rahibazoknak.
Erdekes (termeszetes?) modon megerositesi torzulast MUTATOTT (szamszakilag is) nem pedig cafolatit vagy egyensulyt.
Senki nem allitotta, hogy ez igy rossz. Ez igy van.
nyari mikulas (törölt) 2008.05.11. 14:17:56
Kosz Andras, igy egyetertunk.
vje 2008.05.11. 14:31:56
"Ti ugy erzitek, konnyu volt megtalalni a szabalyt. A tulnyomo tobbseg viszont nem megtalalta, hanem rahibazott."
A többség...
Komolyan, ebben a kissé felfordult világban ezt a csontot rágjátok?
Ahhelyett, hogy technikákat találnátok arra, hogy egy ilyen lássuk be nem különösebben nagy mentális "erőt" feltételező feladat megoldásában segítsük már azt a sokszázalékot???
Mert ez azért elég nehéz... Ránézni...
Mint az idei érettségi feladatra... Ha egy kiló banán 75 Ft, mennyit vehetsz 300 forintért...
Lehet, hogy nem pontosak azt adatok...
De a lényeg, az adott...
Siralom...
Elemezzülk már ki, hogy miért kellett ezt a feladatot 2008-ban érettségi feladatként az ifjak elé tárni???
Ki, miért, és hogyan reagált, válaszolt erre...
TUDOMÁNYOS barátaim...
A többség...
Komolyan, ebben a kissé felfordult világban ezt a csontot rágjátok?
Ahhelyett, hogy technikákat találnátok arra, hogy egy ilyen lássuk be nem különösebben nagy mentális "erőt" feltételező feladat megoldásában segítsük már azt a sokszázalékot???
Mert ez azért elég nehéz... Ránézni...
Mint az idei érettségi feladatra... Ha egy kiló banán 75 Ft, mennyit vehetsz 300 forintért...
Lehet, hogy nem pontosak azt adatok...
De a lényeg, az adott...
Siralom...
Elemezzülk már ki, hogy miért kellett ezt a feladatot 2008-ban érettségi feladatként az ifjak elé tárni???
Ki, miért, és hogyan reagált, válaszolt erre...
TUDOMÁNYOS barátaim...
Szilágyi András 2008.05.11. 14:37:24
Olvastam még egy csomó szakirodalmat. A Wikipédia igencsak félrevezető, mert rosszul értelmezi a Wason-kísérletet. Az persze igaz, hogy a Wason-kísérletet a confirmation bias klasszikus alapkísérletének tartják. Viszont időközben sikerült rájönniük a kutatóknak, hogy a confirmation szót kétféleképpen lehet érteni: 1. hipotézis megerősítése (szemben a falszifikálással), 2. hipotézis pozitív példával való tesztelése (szemben a negatív példával való teszteléssel). A Wikipédia az 1. értelemben idézi a Wason-kísérletet, viszont a szakirodalom alapján úgy látom, hogy mára már senki nem így értelmezi. A Wason-kísérlet a 2. típusú értelemben igazolt egy biast. Ezt positive-testing biasnak nevezzük, vagyis a hipotéziseinket olyan módon szeretjük tesztelni, hogy pozitív példákat vizsgálunk.
A negatív válaszarány azért korrelál ezzel, mert a Wason-kísérlet esetében a tényleges szabály bővebb, mint a tipikusan használt hipotézisek, és ezért csak negatív teszteléssel lehet nemleges választ kapni.
A confirmation bias egy nem egzaktul definiált fogalom, hanem egy gyűjtőfogalom, amibe sok mindent bedobálnak. Általában a positive-testing biast is az egyik változatának tekintik.
Sok kutató amellett érvel viszont, hogy a positive-testing bias a valóságos szituációk nagy többségében nagyonis helyes stratégia, mert ez biztosítja a legnagyobb esélyt a falszifikációra, és ezért nem véletlen, hogy evolúciósan ez alakult ki, ezt használjuk default stratégiaként. Vannak viszont olyan szituációk, amikor tévútra visz, ilyen a Wason-kísérlet szituációja is.
A negatív válaszarány azért korrelál ezzel, mert a Wason-kísérlet esetében a tényleges szabály bővebb, mint a tipikusan használt hipotézisek, és ezért csak negatív teszteléssel lehet nemleges választ kapni.
A confirmation bias egy nem egzaktul definiált fogalom, hanem egy gyűjtőfogalom, amibe sok mindent bedobálnak. Általában a positive-testing biast is az egyik változatának tekintik.
Sok kutató amellett érvel viszont, hogy a positive-testing bias a valóságos szituációk nagy többségében nagyonis helyes stratégia, mert ez biztosítja a legnagyobb esélyt a falszifikációra, és ezért nem véletlen, hogy evolúciósan ez alakult ki, ezt használjuk default stratégiaként. Vannak viszont olyan szituációk, amikor tévútra visz, ilyen a Wason-kísérlet szituációja is.
bela2 2008.05.11. 15:02:51
Kedves vje!
Az erettsegi feladatttal kapcsolatos haborgasoddal egyetertek, en is hallottam ilyesmit, ha igaz, tenyleg botranyos.
Amit felreertesz: ez a blogbejegyzes nem matematikai feladvany volt, hanem pszichologiai kiserlet. Nem a megtalalt szabaly a vita targya, hanem a kiserleti eredmenyek kiertekelese.
Az erettsegi feladatttal kapcsolatos haborgasoddal egyetertek, en is hallottam ilyesmit, ha igaz, tenyleg botranyos.
Amit felreertesz: ez a blogbejegyzes nem matematikai feladvany volt, hanem pszichologiai kiserlet. Nem a megtalalt szabaly a vita targya, hanem a kiserleti eredmenyek kiertekelese.
hvuk 2008.05.11. 23:05:10
Hú, vazzeg, termeltek rendesen! Mostantól pontokba szedve fogok vitázni, mert csak úgy van értelme szerintem, úgy nem fogunk egymás mellett elbeszélni. Kérek mindekit, hogy jelölje meg a válaszában, hogy melyik pontomra reflektál!
1. Nem értem miért volt szükséges mind az eredeti, mind András kísérletében induló számhármast definiálni. Ez erősen torzította szerintem a kísérlet kimentelét és bármiféle közölt számhármas nélkül tisztább képet kaptunk volna.
2. András azt állítja, hogy a szabálytól nem függ az optimális pozitív-negatív arány, az mindig 50% (feltéve, hogy mind a megfelelő, mind a nem megfelelő számhármasok száma végtelen). Kaphatnánk erre bármiféle bizonyítást?
3. András kedvence a fehér alapon fekete négyzet példája. Módosítsuk ezt a feladatot egy kicsit úgy, hogy jobban igazodjon az aktuálishoz.- Legyen adva egy 1 oldalhosszú négyzet, amiben elrejtettünk 1 vagy több fekete négyzetet. Koordináták megadásával tesztelhetjük, hogy az adott pont fekete vagy fehér. A végén az a feladat, hogy megadjuk, hogy pontosan hol vannak fekete neégyzetek. A koordináták tetszőleges 0 és 1 közötti valós számok lehetnek.
"A" kísérlet: Legyen mindössze egy fekete négyzet, amely fedje a papír 5%-át. Ebben az esetben triviálisan lényegesen több fehér pontot fog a kísérletező lekérdezni, mint feketét.
"B" kísérlet: Fedje a papír területének kb. felét fekete négyzet. Ekkor kb. egálban lesznek a fekete és a fehér részbe eső tesztelt számhármasok száma.
"C" kísérlet: Fedje a papír 95%-át fekete négyzet. Ekkor triviálisan lényegesen több fekete pont tesztelése lesz az optimális.
4. Miért tesszük fel, hogy a kísérletezők emlékeznek a régebbi számhármasokra?
5. Mi van olyan kísérletnél, ahol a kiinduló számhármas a 2, 4, 6 és a szabály az, hogy csak a k, k+2, k+4 alakú számhármasok a jók?
6. Mi lenne vajon a végkifejlete egy olyan kísérletnek, ahol a szabály az, hogy a számhármas vagy a 2, 4, 6 vagy pedig csupa negatív számból áll? Van egy olyan sejtésem, hogy egy szemernyi confirmation bias nem lépne fel, a tesztelt számhármasok döntő többsége nem felelne meg a szabálynak.
1. Nem értem miért volt szükséges mind az eredeti, mind András kísérletében induló számhármast definiálni. Ez erősen torzította szerintem a kísérlet kimentelét és bármiféle közölt számhármas nélkül tisztább képet kaptunk volna.
2. András azt állítja, hogy a szabálytól nem függ az optimális pozitív-negatív arány, az mindig 50% (feltéve, hogy mind a megfelelő, mind a nem megfelelő számhármasok száma végtelen). Kaphatnánk erre bármiféle bizonyítást?
3. András kedvence a fehér alapon fekete négyzet példája. Módosítsuk ezt a feladatot egy kicsit úgy, hogy jobban igazodjon az aktuálishoz.- Legyen adva egy 1 oldalhosszú négyzet, amiben elrejtettünk 1 vagy több fekete négyzetet. Koordináták megadásával tesztelhetjük, hogy az adott pont fekete vagy fehér. A végén az a feladat, hogy megadjuk, hogy pontosan hol vannak fekete neégyzetek. A koordináták tetszőleges 0 és 1 közötti valós számok lehetnek.
"A" kísérlet: Legyen mindössze egy fekete négyzet, amely fedje a papír 5%-át. Ebben az esetben triviálisan lényegesen több fehér pontot fog a kísérletező lekérdezni, mint feketét.
"B" kísérlet: Fedje a papír területének kb. felét fekete négyzet. Ekkor kb. egálban lesznek a fekete és a fehér részbe eső tesztelt számhármasok száma.
"C" kísérlet: Fedje a papír 95%-át fekete négyzet. Ekkor triviálisan lényegesen több fekete pont tesztelése lesz az optimális.
4. Miért tesszük fel, hogy a kísérletezők emlékeznek a régebbi számhármasokra?
5. Mi van olyan kísérletnél, ahol a kiinduló számhármas a 2, 4, 6 és a szabály az, hogy csak a k, k+2, k+4 alakú számhármasok a jók?
6. Mi lenne vajon a végkifejlete egy olyan kísérletnek, ahol a szabály az, hogy a számhármas vagy a 2, 4, 6 vagy pedig csupa negatív számból áll? Van egy olyan sejtésem, hogy egy szemernyi confirmation bias nem lépne fel, a tesztelt számhármasok döntő többsége nem felelne meg a szabálynak.
hvuk 2008.05.11. 23:06:26
Fent a 3. pontban a "papír" szó helyett fehér négyzetet kell érteni. Bocsi, a félreérthető fogalmazásért.
hvuk 2008.05.11. 23:07:54
Bela2!
"Tamas, kerlek szakadj el a konkret peldatol es ertsd meg az elmeletet. Ha azt erted, erteni fogod a pelda altal mutatott vetuletet is.
Az elmeletben vegtelen szamu fekete es feher pont van. Ez igy van a peldaban is, vegtelen szamu jo es rossz szamharmas letezik. Ha barmelyik mezot egy (vagy veges) pontra korlatozod, akkor jo nagyot torzitasz az elmeleten. Ott mar csak torzitva lehetne merni a torzitast :-), de a trend valoszinuleg ott is latszana."
Szerencsére a fenti 3-as példámban nem estem bele a fenti hibába. Minden esetben végtelen mennyiségű fehér és fekete pont van.
"Tamas, kerlek szakadj el a konkret peldatol es ertsd meg az elmeletet. Ha azt erted, erteni fogod a pelda altal mutatott vetuletet is.
Az elmeletben vegtelen szamu fekete es feher pont van. Ez igy van a peldaban is, vegtelen szamu jo es rossz szamharmas letezik. Ha barmelyik mezot egy (vagy veges) pontra korlatozod, akkor jo nagyot torzitasz az elmeleten. Ott mar csak torzitva lehetne merni a torzitast :-), de a trend valoszinuleg ott is latszana."
Szerencsére a fenti 3-as példámban nem estem bele a fenti hibába. Minden esetben végtelen mennyiségű fehér és fekete pont van.
bela2 2008.05.11. 23:21:04
hvuk: nem igazan ertelek. Miert peldalozol kitalalt feladatokkal, ha a valosagban tesztelt es publikalt feladat megcafolja az ervelesed? A novekvo szamharmasok kevesebb, mint 16%-at fedik a negyzetednek. Most nem szeretnek a pontos erteknek utanaszamolni, a kevesebb mint 1/6-dal nagyjabol mindenki egyetertett. Es megis lenyegesen tobb megerosito kiserlet szuletett, mint az 5/6 reszt lefedo cafolati tartomanyra. Ez a bias.
hvuk 2008.05.11. 23:21:39
Bela2!
"A kiserlet azt mutatta, hogy-hogynem jellemzo a pozitiv torzulas, mert ilyen az emberi termeszet."
1. Nem, a kísérlet azt mutatta meg, hogy az adott kiindulási helyzetben (adott számhármas és adott szabály) ez volt a jellemző. Ebből egyáltalán nem következik, hogy ez általános lenne.
2. Sőt, érdekes dolog, hogy nem egy üres "fehér lappal" kezdtek (nincs kiinduló számhármas), hanem eleve torzítást vittek a rendszerbe a kezdeti számhármas megadásával.
3. Érdekes dolog, hogy András azt mondja, hogy az összes kísérletet egyben kell vizsgálni és annak kellene 50-50%-ban pozitív és negatívnak lennie. De mi van, ha a kísérletet végzőknél egy másik pszichológia jelenség is fellépett, mégpedig a "múltbeli kísérletek ignorálása" nevű. Ez az a jelenség, ahol a múltbeli kísérleteket nem veszik figyelembe, ha az nem a jelenleg feltett szabály megcáfolására vagy megerősítésére volt végrehajtva. Azaz ha végeztem mondjuk 10 számtesztet (8 pozitív, 2 negatív), amíg eljutottam a végül elküldött szabályig (mindegy, hogy az jó-e vagy sem), akkor amikor azt kezdtem tesztelni, akkor az előző kísérleteket egyszerűen nem vettem figyelembe, azaz a szabályt elölről kezdtem tesztelni. Triviálisan igaz, hogy egy ilyen - mellesleg szerintem létező - jelenség feltételezése után a várható pozitav-negatív arány már elvileg sem lehet 50%-os.
"A kiserlet azt mutatta, hogy-hogynem jellemzo a pozitiv torzulas, mert ilyen az emberi termeszet."
1. Nem, a kísérlet azt mutatta meg, hogy az adott kiindulási helyzetben (adott számhármas és adott szabály) ez volt a jellemző. Ebből egyáltalán nem következik, hogy ez általános lenne.
2. Sőt, érdekes dolog, hogy nem egy üres "fehér lappal" kezdtek (nincs kiinduló számhármas), hanem eleve torzítást vittek a rendszerbe a kezdeti számhármas megadásával.
3. Érdekes dolog, hogy András azt mondja, hogy az összes kísérletet egyben kell vizsgálni és annak kellene 50-50%-ban pozitív és negatívnak lennie. De mi van, ha a kísérletet végzőknél egy másik pszichológia jelenség is fellépett, mégpedig a "múltbeli kísérletek ignorálása" nevű. Ez az a jelenség, ahol a múltbeli kísérleteket nem veszik figyelembe, ha az nem a jelenleg feltett szabály megcáfolására vagy megerősítésére volt végrehajtva. Azaz ha végeztem mondjuk 10 számtesztet (8 pozitív, 2 negatív), amíg eljutottam a végül elküldött szabályig (mindegy, hogy az jó-e vagy sem), akkor amikor azt kezdtem tesztelni, akkor az előző kísérleteket egyszerűen nem vettem figyelembe, azaz a szabályt elölről kezdtem tesztelni. Triviálisan igaz, hogy egy ilyen - mellesleg szerintem létező - jelenség feltételezése után a várható pozitav-negatív arány már elvileg sem lehet 50%-os.
hvuk 2008.05.11. 23:23:43
Bela2:
Azért példálózok más feladattal, mert nem azt vitatom, hogy van confirmation bias, hanem azt, hogy mindenképpen 50% lenne a helyes pozitv-negatív kimeneteli arány. Ez az amit András nagyvonaúan feltett, mindenféle bizonyítás nélkül.
Azért példálózok más feladattal, mert nem azt vitatom, hogy van confirmation bias, hanem azt, hogy mindenképpen 50% lenne a helyes pozitv-negatív kimeneteli arány. Ez az amit András nagyvonaúan feltett, mindenféle bizonyítás nélkül.
bela2 2008.05.11. 23:27:43
OK. Akkor az 50%-ot ne hidd el, pedig annyi az elmelet. Hidd el a sajat 16-84%-odat. Kimutatta a teszt a biast? Meg erosebben is, mint kellene...
hvuk 2008.05.11. 23:30:15
"Sok kutató amellett érvel viszont, hogy a positive-testing bias a valóságos szituációk nagy többségében nagyonis helyes stratégia, mert ez biztosítja a legnagyobb esélyt a falszifikációra, és ezért nem véletlen, hogy evolúciósan ez alakult ki, ezt használjuk default stratégiaként. Vannak viszont olyan szituációk, amikor tévútra visz, ilyen a Wason-kísérlet szituációja is."
Na végre! Csak azt nem értem, hgoy ezt nekünk miért nem lehetett elhinni. Ezzel a teljes hozzászólásoddal egyetértek. Feltéve, persze, hogy jól értem. :)
Amúgy ez az egész visszamegy a "szabály" szó értelmezésére. Egy algoritmus tesztelésére nyilván a pozitív testing-bias a helyes (mint ezt fentebb le is írtam, de eléggé ignorálva volt). És mindennapi életünkben az algoritmus típusú feladatok fordulnak elő döntő többségében.
Na végre! Csak azt nem értem, hgoy ezt nekünk miért nem lehetett elhinni. Ezzel a teljes hozzászólásoddal egyetértek. Feltéve, persze, hogy jól értem. :)
Amúgy ez az egész visszamegy a "szabály" szó értelmezésére. Egy algoritmus tesztelésére nyilván a pozitív testing-bias a helyes (mint ezt fentebb le is írtam, de eléggé ignorálva volt). És mindennapi életünkben az algoritmus típusú feladatok fordulnak elő döntő többségében.
hvuk 2008.05.11. 23:33:33
Bela2!
Egész pontosan milyen elmélet szerint kell annyi? Ha a feladat úgy szól, hogy találja meg azt a determinisztikus algoritmust, amely előállítja a 2, 4, 6 számhármast és amely tesztelhető a fenti alkalmazással (amit András csinált), akkor garantálom neked, hogy nem az 50-50% lesz még az elvileg helyes megoldás sem.
Egész pontosan milyen elmélet szerint kell annyi? Ha a feladat úgy szól, hogy találja meg azt a determinisztikus algoritmust, amely előállítja a 2, 4, 6 számhármast és amely tesztelhető a fenti alkalmazással (amit András csinált), akkor garantálom neked, hogy nem az 50-50% lesz még az elvileg helyes megoldás sem.
hvuk 2008.05.11. 23:34:43
Tényleg, az "elmélet"-ből hogyan jön ki az 50-50%? És milyen "elmélet"-ből jön ki? Én még ilyen elméletről nem hallottam, de nem ismerem az összeset. Tudnál linket adni rá?
bela2 2008.05.11. 23:38:18
1. strategia: Es ki mondta, hogy rossz a bias-os gondolkodas? Nyilvan elmeletileg nem korrekt, de hat emberek vagyunk, nem gepek. Ez eddig is elhangzott mar parszor.
2. elmelet: Probalj elvontabban gondolkozni, esetleg olvass vissza. Es probald az erdot is eszrevenni a fa mogott.
2. elmelet: Probalj elvontabban gondolkozni, esetleg olvass vissza. Es probald az erdot is eszrevenni a fa mogott.
bela2 2008.05.11. 23:50:30
Na jo, meggyoztel! :-)
Tenyleg rossz a bias-os gondolkodas, ha az ember az eloiteletei rabja marad miatta. Es sajnos ilyenre sok pelda van...
Tenyleg rossz a bias-os gondolkodas, ha az ember az eloiteletei rabja marad miatta. Es sajnos ilyenre sok pelda van...
nyari mikulas (törölt) 2008.05.12. 00:10:44
Bela: "Az elmeletben vegtelen szamu fekete es feher pont van. Ez igy van a peldaban is, vegtelen szamu jo es rossz szamharmas letezik."
Igazad van abban az esetben ha nem szabalyt keresunk, hanem csak peldakat (pontokat).
Egy hipotezist egytelen (vagy nehany) cafolat utan el lehet vetni, nem szukseges tovabbi teszteket vegezni. A szamos peldaban ha tesztelted a 2,2,2 es az 5,5,5 szamokat, es tagado valaszt kaptal, akkor nem celszeru a 3,3,3, a 4,4,4 a 6,6,6 stb harmasok tesztelese, pedig vegtelen sok ilyen letezik.
A terkep pontjai nem ilyenek, ott mindegyiket egyenkent meg kell vizsgalni, ha nem szabalyos alakzatot keresunk, hanem csak azt, hogy melyik pont fekete, melyik feher.
Nem tudom erheto-e a kulonbseg, vagy probaljam jobban kifejteni?
Igazad van abban az esetben ha nem szabalyt keresunk, hanem csak peldakat (pontokat).
Egy hipotezist egytelen (vagy nehany) cafolat utan el lehet vetni, nem szukseges tovabbi teszteket vegezni. A szamos peldaban ha tesztelted a 2,2,2 es az 5,5,5 szamokat, es tagado valaszt kaptal, akkor nem celszeru a 3,3,3, a 4,4,4 a 6,6,6 stb harmasok tesztelese, pedig vegtelen sok ilyen letezik.
A terkep pontjai nem ilyenek, ott mindegyiket egyenkent meg kell vizsgalni, ha nem szabalyos alakzatot keresunk, hanem csak azt, hogy melyik pont fekete, melyik feher.
Nem tudom erheto-e a kulonbseg, vagy probaljam jobban kifejteni?
nyari mikulas (törölt) 2008.05.12. 00:29:14
hvuk:
"1. Nem értem miért volt szükséges mind az eredeti, mind András kísérletében induló számhármast definiálni."
Epp azert, mert ez a szamharmas minden iskolat vegzett ember gondolkodasat egy megahatarozott (teves) iranyba inditja. Ez a szep a feladatban.
2. "András azt állítja, hogy a szabálytól nem függ az optimális pozitív-negatív arány, az mindig 50%"
Megallapodtunk benne, hogy nem az. Andras szavait idezem: "Fölösleges azon lovagolni, hogy 50% vagy 40 vagy 70 az optimum, ez nem ennyire egzakt dolog, más tényezőktől is függ. Van egy korreláció, ennyi. Magasabb próbaszám mellett kisebb arány is elég."
6."Mi lenne vajon a végkifejlete egy olyan kísérletnek, ahol a szabály az, hogy a számhármas vagy a 2, 4, 6 vagy pedig csupa negatív számból áll? Van egy olyan sejtésem, hogy egy szemernyi confirmation bias nem lépne fel, a tesztelt számhármasok döntő többsége nem felelne meg a szabálynak."
Egyetertek abban, hogy a kiserlet kezdeten sokkal tobb negativ valaszt varok en is.
Ugyanakkor a megerositesi tevedes itt is fellepne, ha valaki felismeri, hogy a pozitiv szamok kozul csak a 2,4,6 felel meg, van eselye annak, megallna itt, es nem vizsgalna a negativ szamokat.
Fenntartom, amit tobbszor kifejtettem, hogy a confirmation bias az nem a kapott negativ valaszok szama, hanem azoknak a kerdeseknek a kerulese, amelyekre tagado valaszt varunk. A confirmation bias az en olvasatomban azoknak a kerdeseknek az aranya, amelyekre helyeslo illetve amelyekre tagado valaszt varunk, fuggetlenul attol, hogy milyen valaszt kapunk.
"1. Nem értem miért volt szükséges mind az eredeti, mind András kísérletében induló számhármast definiálni."
Epp azert, mert ez a szamharmas minden iskolat vegzett ember gondolkodasat egy megahatarozott (teves) iranyba inditja. Ez a szep a feladatban.
2. "András azt állítja, hogy a szabálytól nem függ az optimális pozitív-negatív arány, az mindig 50%"
Megallapodtunk benne, hogy nem az. Andras szavait idezem: "Fölösleges azon lovagolni, hogy 50% vagy 40 vagy 70 az optimum, ez nem ennyire egzakt dolog, más tényezőktől is függ. Van egy korreláció, ennyi. Magasabb próbaszám mellett kisebb arány is elég."
6."Mi lenne vajon a végkifejlete egy olyan kísérletnek, ahol a szabály az, hogy a számhármas vagy a 2, 4, 6 vagy pedig csupa negatív számból áll? Van egy olyan sejtésem, hogy egy szemernyi confirmation bias nem lépne fel, a tesztelt számhármasok döntő többsége nem felelne meg a szabálynak."
Egyetertek abban, hogy a kiserlet kezdeten sokkal tobb negativ valaszt varok en is.
Ugyanakkor a megerositesi tevedes itt is fellepne, ha valaki felismeri, hogy a pozitiv szamok kozul csak a 2,4,6 felel meg, van eselye annak, megallna itt, es nem vizsgalna a negativ szamokat.
Fenntartom, amit tobbszor kifejtettem, hogy a confirmation bias az nem a kapott negativ valaszok szama, hanem azoknak a kerdeseknek a kerulese, amelyekre tagado valaszt varunk. A confirmation bias az en olvasatomban azoknak a kerdeseknek az aranya, amelyekre helyeslo illetve amelyekre tagado valaszt varunk, fuggetlenul attol, hogy milyen valaszt kapunk.
hvuk 2008.05.12. 00:39:41
"1. strategia: Es ki mondta, hogy rossz a bias-os gondolkodas? Nyilvan elmeletileg nem korrekt, de hat emberek vagyunk, nem gepek. Ez eddig is elhangzott mar parszor."
Persze, ezt senki nem mondta. De én negatív felhangot éreztem kicsendűlni belőle. :)
Amúgy meg szerintem elvárható lenne, ha egy ilyen kísérlet előtt leírnák (értsd: bizonyítanák), hogy mi az optimális pozitív/negatív kísérlet arány. Ebben a kíséreltben ez meg sem volt kísérelve.
"2. elmelet: Probalj elvontabban gondolkozni, esetleg olvass vissza. Es probald az erdot is eszrevenni a fa mogott."
Én az összes hozzászólást elolvastam ebben a topicban, mivel ugye én kezdtem ezt az egész vitát. Elvontnak meg pont elég elvont a gondolkodásom. Viszont még mindig várom, hogy megnevezd azt az elméletet ami alapján 50% az optimális arány ebben a kísérletben. Persze a "csak" is válasz, ne habozd azt beírni, ha tényleg az az indokod! :)
Persze, ezt senki nem mondta. De én negatív felhangot éreztem kicsendűlni belőle. :)
Amúgy meg szerintem elvárható lenne, ha egy ilyen kísérlet előtt leírnák (értsd: bizonyítanák), hogy mi az optimális pozitív/negatív kísérlet arány. Ebben a kíséreltben ez meg sem volt kísérelve.
"2. elmelet: Probalj elvontabban gondolkozni, esetleg olvass vissza. Es probald az erdot is eszrevenni a fa mogott."
Én az összes hozzászólást elolvastam ebben a topicban, mivel ugye én kezdtem ezt az egész vitát. Elvontnak meg pont elég elvont a gondolkodásom. Viszont még mindig várom, hogy megnevezd azt az elméletet ami alapján 50% az optimális arány ebben a kísérletben. Persze a "csak" is válasz, ne habozd azt beírni, ha tényleg az az indokod! :)
hvuk 2008.05.12. 00:40:59
Tamas55!
"Epp azert, mert ez a szamharmas minden iskolat vegzett ember gondolkodasat egy megahatarozott (teves) iranyba inditja. Ez a szep a feladatban."
Ez szép, meg minden, de szerintem mind a confirmation bias létezésére, mind annak nagyságára korrektebb eredményt kaptunk volna egy kevésbé manupilatív feladatra.
"Epp azert, mert ez a szamharmas minden iskolat vegzett ember gondolkodasat egy megahatarozott (teves) iranyba inditja. Ez a szep a feladatban."
Ez szép, meg minden, de szerintem mind a confirmation bias létezésére, mind annak nagyságára korrektebb eredményt kaptunk volna egy kevésbé manupilatív feladatra.
nyari mikulas (törölt) 2008.05.12. 01:01:00
Ha a confirmation biast ugy ertelmezed, mint az elobb en, akkor mindegy mi a feladat.
Ebben az feladatban az a szep, hogy itt a confirmation bias nagy esellyel eredmenyez hibas megoldast, igy nagyobb a demonstrativ ereje.
Ebben az feladatban az a szep, hogy itt a confirmation bias nagy esellyel eredmenyez hibas megoldast, igy nagyobb a demonstrativ ereje.
bela2 2008.05.12. 11:04:03
hvuk, lasd 2008.05.11. 00:01:21 es kornyeki megjegyzeseim a terkepfelderitesrol. Szerintem pedig eppen azert kezdted a vitat, mert nem tudsz elvonatkoztatni az adott peldatol.
tamas, attol, ha a 2,2,2 nem jo es az 5,5,5 sem jo, nem tudhatod, hogy a 3,3,3 jo-e. Termeszetesen egy ilyen feladatban lehetetlen vegtelen szamu pontot tesztelni, igy biztosan nem lehet pontosan korbejarni a szabalyt. Eppen errol beszelek, minel tobb kiserletet vegez valaki, lehetoleg minel kiegyensulyozottabb eredmenyeloszlassal, annal pontosabban tud tippelni a szabalyra. Persze nem tudhatja, hogy a 678326587648725657823658248 feletti szamoknal nincs-e valami valtozas...
Komolyan kerlek titeket, ne csak a 2+2=4 szintu szabalyokra gondoljatok! Free your mind!
A hetkoznapi eletben felmerulo problemak egy picike halmazat vagy vetuletet adjak a matematikanak. Ezek a vetuletek persze torzulhatnak is, de az alapveto iranyvonalak nem modosulnak.
Ebben a kerdeskorben erdekesen keveredik a matematika, a statisztika es a pszichologia. Nem lehet csak az egyik menten velemenyt mondani az egeszrol.
tamas, attol, ha a 2,2,2 nem jo es az 5,5,5 sem jo, nem tudhatod, hogy a 3,3,3 jo-e. Termeszetesen egy ilyen feladatban lehetetlen vegtelen szamu pontot tesztelni, igy biztosan nem lehet pontosan korbejarni a szabalyt. Eppen errol beszelek, minel tobb kiserletet vegez valaki, lehetoleg minel kiegyensulyozottabb eredmenyeloszlassal, annal pontosabban tud tippelni a szabalyra. Persze nem tudhatja, hogy a 678326587648725657823658248 feletti szamoknal nincs-e valami valtozas...
Komolyan kerlek titeket, ne csak a 2+2=4 szintu szabalyokra gondoljatok! Free your mind!
A hetkoznapi eletben felmerulo problemak egy picike halmazat vagy vetuletet adjak a matematikanak. Ezek a vetuletek persze torzulhatnak is, de az alapveto iranyvonalak nem modosulnak.
Ebben a kerdeskorben erdekesen keveredik a matematika, a statisztika es a pszichologia. Nem lehet csak az egyik menten velemenyt mondani az egeszrol.
nyari mikulas (törölt) 2008.05.12. 13:42:30
Bela2, kenytelenek vagyunk a szabalyokra es a peldara gondolni, mert arrol beszelgetunk.
Ha Te altalaban filozofiai szinten vagy a hetkoznapi elet szintjan akarsz a megerositesi tevdesrol beszelgetni, es benne vagyok, javaslom, hogy nyiss neki egy uj topikot a forumon. www.szkeptikustarsasag.hu/forum
A pelda eseten igazad van, hogy a 3,3,3 akar jo is lehet, es minden szamharmast meg kell vizsgalni ahhoz, hogy biztos legyel benne, nincs-e valahol egy kiegeszitese a szabalynak, amelyik azt a kivetelt megengedi, vagy tiltja. Ebben az esetben, ha szisztematikusan az osszes harmast vizsgalod, a ebben a konkret feladatban 1/6 lesz a megerosito es 5/6 a cafolo valaszok aranya.
Abban a feladatban meg, ahol a megoldas az, hogy legalalbb egy paros szam kell legyen a harmasban ha jol szamolom, akkor 1/8 lesz a cafolo es 7/8 a megerosito valszok aranya.
Tehat ha a Te logikadat kovetjuk, akkor is a feladattol fugg a cafolo es a megerosito valaszok szama akkor is, ha semmi confirmation bias nincsen, mert teljesen vakon, sorra vizsgaljuk az osszes lehetseges szamharmast.
Ennyit a matamatikai oldalarol a feladatnak.
Miutan megvizsgaltam a feladatot a Te logikad szerint is, legyen szabad megjegyeznem, hogy sem a matematikaban, sem a hetkoznapi problemamegoldas soran nem azt a megkozelitest hasznaljuk.
Itt is es ott is szabalyokat keresunk, mert az sokkal hatekonyabb, sokkal kevesebb kiserletbol eljutunk a helyes, vagy he nem is helyes, de hasznalhato megoldashoz.
Itt jon be a confirmation bias, hogy miutan megsejtunk egy szabalyt, utana olyan eseteket vizsgalunk, amelyek megfelelnek a szabalynak, es nem teszteljuk azokat, amelyektol cafolo valaszt varunk.
Vegul is ez nem egy rossz strategia sok esetben!
Ha valaki a fenti peldaban megvizsgalja a 2,4,6,8,10 sort, megerositest kap, es elkonyveli, hogy a szabaly kettesevel novekvo paros szamok, akkor ezzel a szaballyal vegtelenul sok helyes megoldast tud generalni, es sosem fog hibat kapni. Valamilyen szinten jo szabaly ez is. Csak nem teljes.
Korulbelul olyan, mint a hetkoznapi eletben az ember koszal a termeszetben es felismeri, hogy a piros szinu puha bogyok finomak es taplaloak. Akkortol csak piros szinu bogyokat keres es csak azokat eszi, es nem fecserli az energiajat zold szinu, a barna szinu kemeny bogyok kostolgatasara. Elso kozlitesben jo strategiat valsztott, tobb ennivalot fog talalni, mint az aki szintematikusan mindent (kavicsot, homokot, fatorzseket, kakit, fuvet vegigkostol, mert hatha van azok kozott is eheto, meg akkor is, ha az eddig kostoltakba beletort a foga.
De ez mar nagyon filozofia es lehet, hogy Andras ilyen iranyu posztot keszit elo, ne vegyuk el tole.
Ha Te altalaban filozofiai szinten vagy a hetkoznapi elet szintjan akarsz a megerositesi tevdesrol beszelgetni, es benne vagyok, javaslom, hogy nyiss neki egy uj topikot a forumon. www.szkeptikustarsasag.hu/forum
A pelda eseten igazad van, hogy a 3,3,3 akar jo is lehet, es minden szamharmast meg kell vizsgalni ahhoz, hogy biztos legyel benne, nincs-e valahol egy kiegeszitese a szabalynak, amelyik azt a kivetelt megengedi, vagy tiltja. Ebben az esetben, ha szisztematikusan az osszes harmast vizsgalod, a ebben a konkret feladatban 1/6 lesz a megerosito es 5/6 a cafolo valaszok aranya.
Abban a feladatban meg, ahol a megoldas az, hogy legalalbb egy paros szam kell legyen a harmasban ha jol szamolom, akkor 1/8 lesz a cafolo es 7/8 a megerosito valszok aranya.
Tehat ha a Te logikadat kovetjuk, akkor is a feladattol fugg a cafolo es a megerosito valaszok szama akkor is, ha semmi confirmation bias nincsen, mert teljesen vakon, sorra vizsgaljuk az osszes lehetseges szamharmast.
Ennyit a matamatikai oldalarol a feladatnak.
Miutan megvizsgaltam a feladatot a Te logikad szerint is, legyen szabad megjegyeznem, hogy sem a matematikaban, sem a hetkoznapi problemamegoldas soran nem azt a megkozelitest hasznaljuk.
Itt is es ott is szabalyokat keresunk, mert az sokkal hatekonyabb, sokkal kevesebb kiserletbol eljutunk a helyes, vagy he nem is helyes, de hasznalhato megoldashoz.
Itt jon be a confirmation bias, hogy miutan megsejtunk egy szabalyt, utana olyan eseteket vizsgalunk, amelyek megfelelnek a szabalynak, es nem teszteljuk azokat, amelyektol cafolo valaszt varunk.
Vegul is ez nem egy rossz strategia sok esetben!
Ha valaki a fenti peldaban megvizsgalja a 2,4,6,8,10 sort, megerositest kap, es elkonyveli, hogy a szabaly kettesevel novekvo paros szamok, akkor ezzel a szaballyal vegtelenul sok helyes megoldast tud generalni, es sosem fog hibat kapni. Valamilyen szinten jo szabaly ez is. Csak nem teljes.
Korulbelul olyan, mint a hetkoznapi eletben az ember koszal a termeszetben es felismeri, hogy a piros szinu puha bogyok finomak es taplaloak. Akkortol csak piros szinu bogyokat keres es csak azokat eszi, es nem fecserli az energiajat zold szinu, a barna szinu kemeny bogyok kostolgatasara. Elso kozlitesben jo strategiat valsztott, tobb ennivalot fog talalni, mint az aki szintematikusan mindent (kavicsot, homokot, fatorzseket, kakit, fuvet vegigkostol, mert hatha van azok kozott is eheto, meg akkor is, ha az eddig kostoltakba beletort a foga.
De ez mar nagyon filozofia es lehet, hogy Andras ilyen iranyu posztot keszit elo, ne vegyuk el tole.
bela2 2008.05.12. 16:33:18
Egyetertek. Remekul leirtad a confirmation biast. Errol beszeltem en is. Itt nincs vita kozottunk.
A 3,3,3-mal kapcsolatban van egy pici, nem szisztematikusan az osszes pontot kell tesztelni, hanem minel tobb, lehetoleg vegtelen szamu szabalyt. Amig csak megerositest kapsz, mindig bovitheted a szabalyod ervenyesseget, hogy tudd, meddig er. Amig kello szamu cafolat be nem hatarolja.
Azzal is egyetertek, hogy egyunk piros bogyot, mert "Jart utat a jaratlanert...", ez a biztonsagi megoldas, egy eletunk van. De mi van, ha elfogy? Vagy van helyette jobb, taplalobb? Valakinek fel kell aldoznia magat a tudomanyert :-)
A 3,3,3-mal kapcsolatban van egy pici, nem szisztematikusan az osszes pontot kell tesztelni, hanem minel tobb, lehetoleg vegtelen szamu szabalyt. Amig csak megerositest kapsz, mindig bovitheted a szabalyod ervenyesseget, hogy tudd, meddig er. Amig kello szamu cafolat be nem hatarolja.
Azzal is egyetertek, hogy egyunk piros bogyot, mert "Jart utat a jaratlanert...", ez a biztonsagi megoldas, egy eletunk van. De mi van, ha elfogy? Vagy van helyette jobb, taplalobb? Valakinek fel kell aldoznia magat a tudomanyert :-)
wice 2008.05.13. 10:48:07
szerintem megallapodhatunk abban (es talan Andras se fog ezzel vitatkozni), h
1. ha vkinek confirmation biasa van, akkor tobb, mint valoszinu, h tobb "megfelelt", mint "nem felelt meg" valasz utan fogja megadni a megoldasat, de
2. ha valaki tobb "megfelelt", mint "nem felelt meg" valasz utan adta meg a megoldasat, abbol meg nem kovetkezik szuksegszeruen, h confirmation biasa van.
ha jol sejtem, mi pusztan ennyit szeretnenk elfogadtatni Andrassal, mert vmiert ugy tunik, mintha ezt vitatna, kozben meg lehet, h nem is.
1. ha vkinek confirmation biasa van, akkor tobb, mint valoszinu, h tobb "megfelelt", mint "nem felelt meg" valasz utan fogja megadni a megoldasat, de
2. ha valaki tobb "megfelelt", mint "nem felelt meg" valasz utan adta meg a megoldasat, abbol meg nem kovetkezik szuksegszeruen, h confirmation biasa van.
ha jol sejtem, mi pusztan ennyit szeretnenk elfogadtatni Andrassal, mert vmiert ugy tunik, mintha ezt vitatna, kozben meg lehet, h nem is.
bela2 2008.05.14. 09:51:08
Hu, ez ovon aluli volt...
"Tisztelt rendorseg, higgyek el, nekem nincs gyorshajtasom, csak ugye erre a szakaszra nem szokas sebessegkorlatozast kitenni."
"Tisztelt rendorseg, higgyek el, nekem nincs gyorshajtasom, csak ugye erre a szakaszra nem szokas sebessegkorlatozast kitenni."
Nádori Gergely 2008.05.29. 09:39:59
Ez a kártyajátk:
en.wikipedia.org/wiki/Eleusis_(game)
szintén remekül szemlélteti a tudományos módszert, én szoktam is játszani diákjaimmal.
en.wikipedia.org/wiki/Eleusis_(game)
szintén remekül szemlélteti a tudományos módszert, én szoktam is játszani diákjaimmal.
