Mes nesuprantame statistikos arba mokslinė fanbojizmo kritika

Šis pasakojimas yra apie tai, kaip gi paprastam žmogui yra sunku suvokti statistiką. Tiksliau, kaip mes jos NESUPRANTAME. Būtent dėl šio mūsų trukumo, mes lengvai pateisiname sąmokslo teorijas. Mus lengva įtikinti, kad skiepai yra žalingi, o statistika apie skiepus meluoja, nes va, žinome keletą vaikelių, kuriems nuo skiepų buvo labai bloga. Panašiai kalba ir kiti sąmokslininkai.

Apgailestauju, bet šie ekstremalūs pavyzdžiai nėra izoliuoti atvejai. Mūsų rūšis pagal savo psichologinę sandarą yra gan deterministinė, todėl mes dėsningai kartojame tas pačias klaidas, vos tik sutinkame stochastinį (tikimybinį) reiškinį. Tikimybė, šansas, statistika, visus tuos dalykus mes baisiai nesuprantame, net nežiūrint į mūsų išvystytą logiką ir mums įskiepytą mokslinį mąstymą.

Fanbojizmas apakina žmogų.
Fanbojizmas apakina žmogų.

Nuo seno domiuosi kompiuteriais,  todėl pripratau prie šventų karvių Kompiuterijoje. Va, vienas kolega su putomis lūpose kalba apie tai, koks Apple yra patikimas įrenginys. Štai, lyg protingas draugas bando mane įtikint, kad Acer yra (atleiskit) „šūdas“, o mano argumentas, kad esu Acer savininkas ir laptopas atlaikė du kritimus ant betono ir tebeveikia 10 metų po pirkimo, palieka jį susinervinusį. O kai jam parodau statistiką, tai net susilaukiu įžeidimų.

Lenovo vs ACER 2

Acer gamino IBM Thinkpadus. Faktas.
Acer gamino IBM Thinkpadus. Faktas.

Dar nemaloniau būna, kai paaiškėja, jog nemėgstama kompanija de fakto gamina mėgstamai kompanijai kompiuterius. Tuomet žmogaus galvoje sukasi aibė minčių. Kaip gi taip? Mano laptopo gamintojas kiečiausias. Turėjau net 4-10 laptopų, nei vienas nesugedo! Iš manęs reikalaujama empirinių įrodymų.  Suprantu, kad tai yra kvaila, todėl pateikiu statistiką.

Pasirodo, Acer gamino IBM ThinkPad'us. Koks skandalas?!
Pasirodo, Acer gamino IBM ThinkPad’us. Koks skandalas?!

Susirandu ODM (Original Device Manufacturer) duomenų bazėje, kas gi gamino konkrečius modelius, apie kuriuos kalbėjo mano gerbiamas oponentas.  Ir kokį atsakymą aš gaunu? Man sakoma, kad statistika NĖRA svarbi, nes svarbiau – asmeninė patirtis! „O statistika ir teoriniai išvedžiojimai, kaip taisyklė, dažnai prasilenkia su realybe“. Wow! Kokia pretenzija? Pasirodo, statistika ir teorija su realybe nieko neturi bendro? Jus rimtai? Turėčiau suvalgyt savo fiziko teoretiko diplomą ir eit taisyt kompiuterių?

Mokslinio metodo kritika iš kompiuterių techniko lūpų.
Mokslinio metodo kritika iš kompiuterių techniko lūpų.

Oponentas – protingas jaunas žmogus, bet daro elementarią klaidą, būdingą visiems žmonėms, pirmą kartą išgirdusiems apie tikimybes. Tikimybėms reikia DIDELIŲ SKAIČIŲ. Tarkim, visi žinome, jog mėtant monetą, tikimybę skaičiui ir herbui yra ta pati – 50%. Bet retas susimasto, kad empirinis patikrinimas reikalauja bent 10 000 – 20 000 bandymų. O norėdami pamatyt 50% su 0,1% tikslumu turėtume atlikt 250 000 bandymų. Todėl, jei gaminama bent milijonas konkrečių įrenginių, norėdami nustatyt jų patikimumo laipsnį, mums neužtenka paimt 3 arba 4 įrenginius. Statistiškai tai bus nereikšminga imtis ir daryt iš to išvadą yra klaidinga. Tačiau ne! Asmeninė patirtis yra svarbiau, o mokslinis metodas yra neigiamas ir žeminamas!

Spėju, kad kai kurie skaitytojai galėjo iki šiol nesuprast manęs.  Tai, ką aš dabar rašau, nėra konkretaus asmens kritika, tai yra mokslininko nusistebėjimas, kokie gi kompiuterių specialistai yra humanitariški, kuomet kalbama apie tikimybę ir statistiką. Būtent ties šia vieta pereinu prie įdomios dalies.

Aš ilgai galvojau apie to seno pokalbio sukeltus klausimus. Ir… Štai suradau gerą pavyzdį, kuris turėtų net ne specialistui paaiškinti, kas yra didelių skaičių teorema ir kaip reiktų teisingai taikyt statistiką. Bei, be abejo, kaip reiktų teisingai apie ją galvoti.

Aš radau įdomaus eksperimento internetinį puslapį. Berklyje dvi studentės sudalyvavo eksperimente, kur jos turėjo kiekvieną darbo dieną po valandą laiko mėtyti monetą viso semestro metu. Taip kiekviena iš jų atliko 20 000 monetos mėtimų. Viena studentė mėtė monetą, kuomet pradinė padėtis buvo skaičius (S), o kita – kuomet herbas (H). Anot mokyklinės tiesos, tikimybė yra viena antroji. Turėtume laukt, kad pusė mėtimų bus skaičius, o kita pusė – herbas. Ir štai rezultatai:

  • Pirma studentė: iš 20,000 skaičiumi į viršų metamų monetų 10231 monetų nukrito skaičiumi į viršų.
  • Antra studentė: iš 20,000 herbu į viršų metamų monetų 10014 monetų nukrito herbu į viršų.

Iš esmės lyg nieko įdomaus. Beveik viena antroji, ką ir sakė mums standartinė teorija. Tačiau kas yra įdomiau – tai bandymų protokolas. Būtent jį aš įdėmiai išnagrinėjau. Būdami žmonės, mes suvokiame tikimybę 50 procentų kaip kažką panašaus į tai, jog kas antras mėtymas bus skaičius, o kas antras bus – herbas. Deja, deja, realybė yra negailestinga. Jei atversime bandymų protokolą, nustebsime, kaip dažnai matomos sekos, kuriose su beveik 100% pasirodo arba skaičius, arba herbas:

Grafikas parodo, kiek kartų iš eilės pasikartojo herbas arba skaičius (x ašis), mėtant iš herbo pozicijos
Grafikas parodo, kiek kartų iš eilės pasikartojo herbas arba skaičius (x ašis), mėtant iš herbo pozicijos
  • Herbas net 8 kartus iš eilės:
    27 H 1
    28 H 1
    29 H 1
    30 H 1
    31 H 1
    32 H 1
    33 H 1
    34 H 1
  • skaičius net 8 kartus iš eilės
    135 S 1
    136 S 1
    137 S 1
    138 S 1
    139 S 1
    140 S 1
    141 S 1
    142 S 1
Grafikas parodo, kiek kartų iš eilės pasikartojo herbas arba skaičius (x ašis), mėtant iš skaičiaus pozicijos
Grafikas parodo, kiek kartų iš eilės pasikartojo herbas arba skaičius (x ašis), mėtant iš skaičiaus pozicijos

Tai yra nepaprastai geras pavyzdys to, kaip mūsų „empirinė patirtis“ net tokiame paprastame eksperimente gali apsukt mums galvą. Problema yra tai, kad labai mažai žmonių suvokia šansus ir tikimybių mechanizmą. Jei įdėmiai pažvelgsime į abu grafikus, pamatysime, kad situacija (SHS), kuomet paskui skaičių seka herbas, o paskui herbą seka skaičius sudaro ne pusę, o tik KETVIRTADALĮ visų mėtimų! Suprantate? Dar daugiau, situacijos, kuomet po skaičiau seka skaičius (HSSH), arba po herbo seka herbas (SHHS) sudaro AŠTUNTADALĮ visų mėtimų. O situacija, kuomet keturi skaičiai (HSSSSH) arba keturi herbai (SHHHHS) iškrenta vienas po kito yra net 7% visų mėtimų.

Grafikasiš arčiau parodo, kiek kartų iš eilės pasikartojo herbas arba skaičius (x ašis), mėtant iš herbo pozicijos.
Grafikas iš arčiau parodo, kiek kartų iš eilės pasikartojo herbas arba skaičius (x ašis), mėtant iš herbo pozicijos.
Grafikasiš arčiau parodo, kiek kartų iš eilės pasikartojo herbas arba skaičius (x ašis), mėtant iš skaičiaus pozicijos.
Grafikas iš arčiau parodo, kiek kartų iš eilės pasikartojo herbas arba skaičius (x ašis), mėtant iš skaičiaus pozicijos.

Jei gi mes įdėmiau pažvelgsime į tą grafiko vietą, kur skaičiai arba herbai krito daugiau nei 8 kartus iš eilės, mes galime stačiai nustebti, jog atliekant 20 000 mėtimų net keletą kartų keturiolika mėtimų iš eilės pasirodydavo arba skaičius, arba herbas! Tai būtų tokia gan ilga sekos (SHHHHHHHHHHHHHHS), (HSSSSSSSSSSSSSSH).

Tai yra labai svarbi vieta. Todėl, jei tebeskaitote, sustokite. Nueikite arbatos, pažiūrėkit savo paštą, pažvelkite į ką nors. Sustokit. Sustokit ir pagalvokite, kaip jus reaguotumėt į teiginį, kad „tikimybė monetai nukrist herbu į viršų lygi vienai antrajai“, tačiau patys net 14 kartų iš eilės mėtydami monetą gautumėt TĄ PAČIĄ pusę?! Jus greičiausiai pasakytumėt, kad nesąmonė tas „mokslinis metodas“ ir ta „statistika“!


Kalba ėjo apie du gamintojus, kiekvienas išleidžia į pasaulį kasmet po 100-150 mln. gaminių. Mano oponentas tvirtino, kad kompanijos A produktai yra patikimesni už kompanijos B produktus, kadangi tai jam sakė jo empirinė patirtis: kompanijos A dėvėti produktai, kurie pakliūdavo jam į rankas, atrodė geriau nei kompanijos B dėvėti produktai. Natūrali išvada būtų – kompanija B gamina prastesnį produktą.

Laptopų gamintojų patikimumo analizės rezultatai. (c) SquareTrade
Laptopų gamintojų patikimumo analizės rezultatai. (c) SquareTrade

Tačiau kompiuterijos pasaulyje reta firma gamina viską pati. Dažniausiai užsakoma pas kitą gamintoją. Apple savo įrenginių negamina, juos gamina jiems Foxconn, taip ir kompanija A savo produkto negamino, o užsakė pas „empiriškai blogą“ kompaniją B. Dar daugiau, „empiriškai“ atseit nepatikimos kompanijos B produkto pagrindinė komponentė būdavo naudojama kompanijos A produkte. Kas dar įdomiau, pasirodo, kad pasaulio mastu, kompanijos A produktai genda tiek pat, kiek kompanijos B produktai.

Laptopų gedimo lygis pagal skirtingas klasės (c) SquareTrade
Laptopų gedimo lygis pagal skirtingas klasės (c) SquareTrade

Mūsų empirinė patirtis statistikos požiūriu yra nereikšminga. Mes per savo gyvenimus nesugebėsime pažiūrėti statistiškai reikšmingą gaminių imtį tam, kad galėtume objektyviai įvertinti patikimumą. Suprantate, Lietuva yra maža šalis. Dalis produktų tiekiama mūsų rinkai mažais kiekiais. Statistiškai galima situacija, kad visa produktų partija, kurią mes gavome, yra su defektu. Ką tai gali mums reikšt? Mums greičiausiai nieko, mes nebepirksime tos firmos gaminio. Bet mes nevisai busim objektyvūs.

Kitas svarbus aspektas yra ekonomika bei padėtis rinkoje. Visų pirma, asmeninių procesorių rinkoje yra vienas dominuojantis tiekėjas – kompanija Intel, gana stipriai unifikuojanti bei gan stipriai reguliuojanti nešiojamųjų kompiuterių dizainus. Gamintojai atitinkantys griežtas Intel sąlygas, gauna iš Intel marketingo pinigų bei teisę naudot ant produktų oficialius logotipus (tai yra lipdukai, kurie gausiai dengia laptopo paviršių). Vaizdo kortų tiekėjų skaičius irgi mažas – tėra du tiekėjai, kurie taip pat gan stipriai varžo gamintojų laisvę. Kieti diskai? Pasaulyje tėra du gamintojai (Toshiba gamina pagal WD licenziją)!

untitled
Tai yra svarbu, kuomet nagrinėjama kaip ir kelintais gyvenimo metais genda prietaisai.  Matote, prietaiso gedimų kreivė yra vadinama „vonios kreive“ (šviesiai rūda spalva).  Ją pirmą kartą pastebėjo analizuojant žmogaus mirtingumą, o kreivę sudaro trys svarbios komponentės:

  1. Vaikystės ligos. Labai daug komponenčių genda vos pradėjus jas naudoti. Priklausomai nuo komponentės tai gali atsitikt iš karto įjungus įrenginį, arba pareikalaut savaitės ir net mėnesio. Geri gamintojai kovoja su tokiais gedimais atlikdami vadinamus „burn-in“ testus, kuomet naudojami specialūs pečiai, „pagreitinantys“ vaikystės ligų detekciją .
  2. Atsitiktiniai gėdimai. Niekas nėra apsaugotas nuo atsitiktinių gedimų, todėl jie yra iš anksto įskaičiuoti, o už juos atsako gamintojai. Kuo didesnė unifikacija, tuo mažiau šis skaičius varijuojasi tarp skirtingų gamintojų.
  3. Dėvėjimasis. Prietaisui veikiant, jis būna įjungiamas ir išjungiamas, šie procesai pavojingi elektronikai tuom, kad jie yra pereinamieji grandinių procesai, todėl srovės bei įtampos gali pasiekt pavojingus lygius, o pažeidimai grandinėse laikui bėgant kaupiasi, kol prietaisas nesugenda. Tai yra eksponentinis dėsnis, ir jį individualūs gamintojai gali įtakoti.

Kaip matote,  nuo gamintojo priklauso tik pirmos dvi dalys. Jei jie sutaupys ties testais, jų prietaisai masiškai keliaus į garantinį, vos juos nupirkus. Gamintojams tiesiog nėra prasmės gaminti daiktą, kuris lengvai genda, todėl testai atliekami ir juos daro specializuotos firmos arba specialūs padaliniai su laboratorijomis ir reikalinga įranga.

Vienintelė vieta, kur gamintojas gali bandyt sutaupyti, yra paskutinė dėsnio dalis.  Gamintojai gali projektuoti tokią gyvenimo trukmę, kad prietaisai pradėtų masiškai gęsti pasibaigus garantiniam laikotarpiui. Taip elgiasi bevardžiai gamintojai, kurie negamina niekam iš stambiųjų.

Jei gi gamintojas „žaidžia“ aukštojoje lygoje, jis atidžiai seka konkurentų produktus bei siūlomas opcijas. Viena iš tokių opcijų yra prailgintas garantinis laikotarpis. Tarkim, mano institute visi įrenginiai perkami su privaloma 5 metų garantija, už kurią damokama. Jei gamintojas turi tokią opciją, yra saugu rinktis jo įrenginį, kadangi gamintojams neapsimoka gaminti du skirtingus įrenginius: tuos, kurie dirbs tik porą metų, ir tuos, kurie dirbs penkis metus. Taupydami resursus, gamintojai projektuoja ilgesnę gyvenimo trukmę, nei to reikalauja įstatymas.

Laptopų gedimo priežastys (c) SquareTrade
Laptopų gedimo priežastys (c) SquareTrade

Trečią dalį be gamintojo įtakoja ir žmogus, kuris produktą įsigijo. Ir ji vidutiniškai yra trečdalis bendrų gedimų. Tačiau nereik to nuvertinti. Reikia atkreipti ir dėmesį į tai, jog vienos pasaulinės kompanijos Lietuvoje prekiauja vien tik verslo klasės gaminiais, o kitos kompanijos vien tik produktais, kurie yra buvo reklamuojami kaip gaminiai studentams, todėl nėra korektiška lygint iš verslo firmos gautus dėvėtus produktus su produktais, kurios nudėvėjo studentai. Apie tai rašė ir kompanijos B serviso atstovas:

As an example culled from company B own warranty repair data, we point out that the company would „expect a 10X difference in repair rates between systems bought for [secondary school] students and systems used only in a home office by adults

Taigi, matome, kad klausimas nėra vienareikšmiškas. Ir egzistuoja pakankamai daug mokslinių paaiškinimų, kodėl mūsų empirinė patirtis gali būt kitokia nei objektyvi tiesa. Tenka apgailėstaut, kad mano gerbiamas Oponentas to nesuprato (o gal ir nenorėjo suvokt), bet kas gerai yra tai, kad jo replikos ir privertė parašyti šį ilgą postą, nes aš labai noriu, kad žmonės pradėtų suvokt, kas yra statistika ir nedarytų šių elementarių logikos klaidų.

Pabaigai, auksinės citatos:

„Visa tai, ką rašau, Sergejau, yra asmeninė patirtis. Ir ne mano vieno. O statistika ir teoriniai išvedžiojimai, kaip taisyklė, dažnai prasilenkia su realybe“

„Statistika eiliniam vartotojui vienodai šviečia. Realijos ir asmeninė patirtis parodo kaip yra iš tikro.“

„Jei statistika ir mokslinis metodas neigia empirinę patirtį, tai jau nėra realybė“

8 komentarai

  1. Esu giliai įsitikinęs, kad dėl tokių dalykų visiškai neverta ginčytis, ypač, jei žmogus save laiko IT’šniku. O šiaip tai kilo mintis, apie tai, kad čia galbūt labiau net ne psichologiją ar subjektyvumą reiktų aptarinėt, o marketingą. Jei kas paklaustų, kas geriau, Acer ar HP, pati pirma mintis tikrai būtų HP(nors, manau, tikrai taip bukai to neteigčiau). To priežastis gana paprasta – tiesiog gyvenime esu matęs daug daugiau pigių Acer laptopų, kuriuos pasukus per korpusą skirtingomis kryptimis, jie persikreipia. O ir visokiuose topo centruose pirmiausiai išdėlioti laptopai po 1000Lt buvo Acer. Tai, žodžiu, norėjau pasakyti, kad įspūdis sudarytas low-end produktų gali nulemti sprendimą, kokio gamintojo high-end produktą pirkti. Čia turbūt to pavyzdys ir buvo.

    1. Na, klausimas retorinis. Verta, ar neverta. Visada verta padaryti pastabą, kad žmogus daro loginę klaidą. Blogiau yra, kai žmogus nenori savo klaidos suvokt, ir ima kritikuot statistiką bei mokslą 🙂

      Dėl prastų įspūdžių apie brendus. Sutinku. Su viena pastaba. Net tie low-end Aceriai gan patikimai tarnaudavo, jei patekdavo ne į studento rankas. Nustebsite, jei sužinosite, kad keletas low end Acer, kurie pateko pas profesorius į rankas tebetarnauja virš 10 metų. Nereikia pamiršt, kad žmogus yra svarbesnė dėvėjimosi komponentė.

    2. Nebūtinai, Laurynai, labai greit rastum informacijos apie ne vieną HP ekonominių serijų, kurios buvo išleistos su defektais į gamybą. Tikėtina, kad tas 5 min googlinimas labai greitai priverstų kvestionuoti išankstinį nusistatymą, bent jau konkrečiai pateiktu pavyzdžiu (nes teigiamos
      informacijos apie acer daug, kaip ir neigiamos apie HP). 🙂

      Aišku, premise čia, kad apskritai pagooglintum bent tas 5 minutes.

  2. Galbūt Oponentas šitaip nelabai vykusiai bandė papasakoti apie kažką panašaus į “Misuse of statistics“, ir iš to kylantį nepasitikėjimą pačia statistika. Tada tai nebūtinai reikštų “nesupratimą“. Tikrai girdėjei juokelį apie tris melo rūšis: melą, labai didelį melą ir statistiką. —> http://en.wikipedia.org/wiki/Misuse_of_statistics

    Šiuo atveju jo vietoje apeliuočiau ne į savo empirinį patyrimą, bet į statistikos šaltinio patikimumą. Kas per daiktas yra tas “SquareTrade“, kiek jis vertas pasitikėjimo, kiek jis nešališkas, ar kitų šaltinių, teigiančių tą patį ir t.t.

  3. Puikus šviečiamasis straipsnis!

    Vienas dalykas kurio dažnai pasigendu publikuojamuose statistiniuose duomenyse yra kiekvieno rezultato paklaida. Antai grafike „Laptopų gamintojų patikimumo analizės rezultatai. (c) SquareTrade“ gražiai išdėlioti gamintojai nuo patikimiausio iki malfunkcioniausio. Bet kaip atrodytų grafikas paaiškėjus, kad kiekvienas rezultatas turi 5% paklaidą? Užtektų ir 2-3% kad nebepavyktų visko taip gražiai surikiuoti ir atsirastų pagrindas abejoti Asus pranašumu prieš Dell ar Lenovo pranašumu prieš HP.

  4. Empiriniam patikrinimui reikia 10000? Really? CRT konverguoja greičiu 1 iš šaknis iš n. Reprezentatyviai apklausai užtenka berods 1000 respondentų. Iš kur jūs ištraukėt tuos 10k?

Parašykite komentarą