Pravda a fakty majú svoje limity. Aj vo výskume

V dvojčísle Otázky žurnalistiky 3-4 v roku 2016 bol publikovaný príspevok autora Jána Višňovského (doc. PhDr., PhD) s názvom ”Zisťovanie čitateľských návykov recipientov tlačených a onlinových novín a ich vzťah k nim.”

Bez toho, aby sme sa vyjadrovali ku kvalite ostatných príspevkov (príspevok bol napísaný v spoluautorstve), a bez toho, aby sme si nárokovali právo na neomylnosť, sme presvedčení, že citovaný príspevok bol napísaný na základe uplatnenia problematickej výskumnej metodiky, resp. nie úplne vhodne uplatnenej výskumnej metodiky, a okrem toho aj závery výskumu sú prezentované nejasným spôsobom, čo podstatne eliminuje ich poznatkovú výpovednú, a teda aj predpokladanú odbornú či vedeckú hodnotu.

Kedže Otázky žurnalistiky sú najstarším odborným periodikom venujúcim sa otázkam žurnalistiky a širšie chápanej komunikácie na Slovensku, považujeme za správne reagovať na tieto skutočnosti. Nejde pritom o ojedinelý jav na Slovensku či vo svete. Nesprávne metodické a logické výskumné postupy v spoločenských vedách sú relatívne bežné aj v celosvetovom meradle (pozri napr. Hyett, Kenny a Dickson-Swift, 2014). Netvrdíme ale, že recenzenti alebo kritici majú vždy a vo všetkom pravdu.

Autor použil online kalkulačku na výpočet parametrov výberu skúmanej vzorky. To samo osebe nie je problém, hoci, ako uvedieme ďalej, táto kalkulačka má svoje limity.

Prvý a najväčší problém (hoci z chronologického hľadiska výskumu ide o poslednú fázu výberu vzorky) spočíva v nejasnom definovaní výberu respondentov z hľadiska ich konkrétneho oslovenia. Inými slovami, nevieme, ako boli vlastne vybraní konkrétni respondenti. Išlo o študentov a rodičov študentov a známych autora? Alebo o členov nejakej skupiny či viac alebo menej uzavretej online alebo offline komunity? Vieme totiž, ako autor sám priznáva, že jeho vzorka nie je reprezentatívna. Potom ale platí, že výsledky v najlepšom prípade reprezentujú ním vybranú vzorku, o ktorej vieme iba nejaké údaje (počet zamestnaných, pomer žien a mužov a podobne). Tieto údaje sú nedostačujúce na presné pochopenie zloženia a princípov výberu skúmanej vzorky. Následne autor ani nemôže zovšeobecňovať svoje tvrdenia tak, ako to robí, napr. (s.10): “ Respondenti na získavanie informácií v najväčšej miere využívajú internet (44,64%), potom televíziu (44,64%) a noviny (13,47%).” Autor si samozrejme čiastočne uvedomuje problematickosť svojich záverov: ”Internet samozrejme získal prvenstvo aj z dôvodu zloženia vzorky…..”(s.10).

Lenže tie rozdiely sú v skutočnosti veľmi veľké, ak porovnáme podobné výskumy. Napríklad, ak porovnáme autorove dáta s dátami z Eurobarometra (presné citácie nižšie) vo vzťahu k Slovensku, zistíme veľké rozdiely: 63% používa na získavanie informácií o celonárodných politických témach televízne vysielanie, a na druhom mieste je internet s 23%. Samozrejme, aj my si uvedomujeme, že tu ide o dve odlišné otázky (získavanie informácií vo všeobecnosti vs. získavanie informácií o národnej politike). Samozrejme, ani skúmané obdobia sa presne neprekrývajú. Ale je racionálne domnievať sa, že tieto otázky nie sú v bežnej užívateľskej praxi až tak rozlišované, a najmä preto nie, že išlo, resp. malo ísť o “čitateľov tradičných tlačených a onlinových novín….”(s.8). Najmä skupina čitateľov tradičných tlačených novín sa prevažne zaujíma o informácie o národnej politike.

Nech to už bolo akokoľvek, samozadanie výberu vzorky autora znelo zistiť “preferencie čitateľov tradičných a onlinových novín….”(s.8). Znamená to, že autor dopredu vedel tak pri vybraných respondentoch vo vzťahu k tradičným novinám, ako aj pri vybraných užívateľoch Facebooku, že používajú či už tradičné a/alebo onlinové noviny? Vedel to pri každej skupine? Ak to vedel, potom výskum bol o niečom inom ako tvrdí autor ďalej v rámci svojej analýzy. Ak to nevedel, prečo tvrdí, že chcel skúmať “preferencie čitateľov tradičných a onlinových novín….”(s.8)? Z autorovho opisu vyplýva, že tieto skutočnosti nevedel – tvrdí napríklad, že “Tlačové noviny a onlinové noviny číta každý deň viac ako štvrtina opýtaných” (s.10). Inými slovami, z jeho celej vzorky to bola len asi štvrtina. Potom ale mal vytvoriť analytický podsúbor s týmito dvoma skupinami (vlastne dva podsúbory). A možno mal aj ďalej deliť členiť svoje podsúbory a dáta na tie, v rámci ktorých sa nachádzajú čitatelia tradičných a/alebo onlinových novín, a na tie, v ktorých sa takíto čitatelia nenachádzajú (rozdiel medzi absolútnymi a relatívnymi dátami). Lebo napríklad na strane 11 uvádza, že “Respondenti trávia s výtlačkom novín…..” Má tu autor na mysli skutočný výtlačok novín, alebo aj online verzie novín? Podľa všetkého ide len o tlačené noviny, lebo na strane 13 uvádza osobitný odsek venovaný čítaniu onlinových novín. Vzťahuje sa ale tento údaj aj na skupinu oslovenú cez Facebook ako aj emailom? Asi áno, ale ide o spriemerovaný údaj, pričom z analytického pohľadu by bolo zaujímavejšie hodnotiť tieto parametre osobitne.

Nejasné či dokonca protikladné formulácie pokračujú, lebo sa dozvieme, že “Kým takmer 75% respondentov číta tlačené noviny, k čítaniu onlinových novín sa prihlásilo 54,38% respondentov….” (s.13). Máme tu tiež ale uvedené, že dominantné postavenie medzi médiami má televízne vysielanie s 50,81% (s.10). Ďalej na strane 10 sa uvádza, že “Tlačené noviny a onlinové noviny číta každý deň viac ako štvrtina opýtaných.” Ako to je vlastne? Čo platí? Je vcelku možné, že tieto údaje sú pravdivé, keď respondenti sledujú televízne vysielanie aj čítajú noviny cez internet, alebo niektoré údaje platia len na určitú časť vzorky, ale čitateľ musí hádať alebo dedukovať, čo tieto údaje vlastne znamenajú. Rovnako je možné, že tieto údaje sú nezmyselné, lebo je málo pravdepodobné, a dáta nižšie uvedené tomu nasvedčujú, žeby viac respondentov čítalo tlačené noviny ako online noviny (autor mal na mysli asi online verzie tlačených novín), a už vôbec iné dáta nepotvrdzujú, žeby taký vysoký počet ľudí denne alebo takmer denne (či o aký časový horizont tu ide?) čítal tlačené noviny. Autor mal, resp. asi chcel uviesť, že zo skupiny X je toľko a toľko čitateľov média Y, čiže z tej cca štvrtiny, ktorá podľa jeho výskumu číta online alebo tlačené noviny, tri štvrtiny čítajú online verzie tlačených novín a niečo viac ako polovica preferuje (súčasne aj?) výlučne online (webové) noviny. Asi takto to malo byť uvedené (a možno aj inak, autor vie asi lepšie).

Aká je autorova definícia online novín? Zahŕňa len portály, ktoré “preklápajú” tlačený obsah do online obsahu (alebo naopak, napr. sme.sk), alebo výlučne ide o portály, ktoré sú v tomto zmysle unikátne? (napr. Aktuality.sk). A kam autor zaraďuje portály, ktoré neprinášajú originálne informácie, ale sprostredkúvajú spravodajské informácie z iných portálov? (napr. Azet.sk). Aj to sú dôležité otázky, ktoré by mali zaujímať čitateľa tohto výskumu.

Nech to už bolo akokoľvek s výberom vzorky, ako mohol autor spojiť tieto dve odlišné skupiny (vzorky) na zisťovanie čiastočne odlišných údajov? Napríklad čitatelia tradičných novín môžu aj nemusia byť na Facebooku, a užívatelia Facebooku môžu ale nemusia čítať dennú (či už online alebo tradičnú) tlač.

Nešlo v prípade autorovho výskumu skôr o zisťovanie, ako používajú/hodnotia neznámym spôsobom vybraní používatelia Facebooku (cca 300) a ďalší bližšie neznámym spôsobom emailom oslovení (cca 350), a následne vybraní (z tých čo odpovedali správne) respondenti (cca 300), rôzne médiá či súvisiace parametre?

A čo to vlastne znamená, že elektronická forma dotazníka bola “vytvorená prostredníctvom platformy www.google.sk”? (s.9). Veď google je vyhľadávací nástroj, nie nástroj na vytváranie elektronických foriem dotazníkov (hoci na internete, vrátane rôznych služieb spoločnosti Google, pochopiteľne vieme nájsť aj nástroje na vytváranie dotazníkov).

V prípade dôvery v médiá, treba oceniť, že autor (s. 11) použil logickejšie kritéria, keď zahrnul aj odpoveď, že respondent neuvažoval o tejto téme, alebo že nevedel odpovedať. Avšak, rozdiely medzi výsledkami autora výskumu a výsledkami Eurobarometera, alebo agentúry Median či agentúry GfK sú aj tak neuveriteľne odlišné. Samozrejme, uvedomujeme si, že autor sa zameral (resp. sa chcel zamerať) len na “čitateľov tradičných a online novín” (s.8), ale tu vidíme, že jeho výsledky sú v podstate neporovnateľné s komplexnejšími dátami, resp. nezovšeobecniteľné na celú populáciu. Treba pritom uviesť, že autor samotný trochu neurčito alebo nepriamo použil svoje výsledky na komparáciu s výsledkami Eurobarometer (s.15), hoci z neznámych dôvodov použil výsledky ešte z roku 2009. Čitateľ by pritom očakával, že sa nad týmito rozdielmi aspoň sám zamyslí v záverečnom hodnotení.

Dôvera v médiá na Slovensku

A: štandardný Eurobarometer, jesená fáza, 2015 (kombinované odpovede: dôveruje a skôr dôveruje)

B: Višňovský, 2016, 11

Rovnako veľké rozdiely vo výsledkoch vidíme aj pri ďalšom súbore dát ohľadom sledovanosti médií.

Sledovanosť médií na Slovensku

A: štandardný Eurobarometer, jesená fáza (kombinované odpovede: dôveruje a skôr dôveruje)

B: Višňovský, 2016, 10

C: Median, 2016b

D: Special Eurobarometer, 2015

V prípade ďalšieho špecifického súboru dát uvedeného nižšie nachádzame presnejšie a komparatívne informácie v nasledovnej tabuľke. Tu mimochodom vidíme, že naši občania v približne rovnakej nadpolovičnej miere čítajú správy online a súčasne sledujú sociálne médiá. Treba pritom uviesť, že veľa správ sa zdieľa cez sociálne médiá (najmä cez Facebook, ale aj cez YouTube a menej cez Twitter), čo znamená, že tieto údaje sa do istej miery prekrývajú. V každom prípade využitie internetu, presnejšie sociálnych médií, (denne alebo takmer denne) je u nás (najmenej o polovicu až takmer dvojnásobne) vyššie ako naznačuje autor kritizovanej štúdie (hoci, samozrejme, uvádza parameter “denne” – analyticky presnejšia je však možnosť odpovede “denne a takmer denne”, alebo ich kombinácia). V každom prípade aj pri použití ukazovateľa “denne” je rozdiel obrovský.

Druhy internetových aktivít v regióne

Special Eurobarometer, 2015

Asi je zaujímavé uviesť, že pre Slovensko máme k dispozícii aj podrobnejšie údaje o využívaných sociálnych sieťach vďaka výskumu agentúry GfK realizovaného v máji 2016 na vzorke 1 199 respondentov na obyvateľoch Slovenska starších ako 15 rokov. Najvyužívanejšou sociálnou sieťou je Facebook. Aspoň raz do mesiaca Facebook využívalo až 68%  obyvateľov. Denné využívanie Facebooku bolo 45%. YouTube mesačne využívalo 63%  Slovákov, aspoň raz denne 21% obyvateľstva (Kočan, 2017).

Druhý problém sa týka určovania parametrov výberu z hľadiska spoľahlivosti. Interval spoľahlivosti na úrovni 95% je dosť slabý, lepšie je určiť 99%. Rozpätie chyby odhadu na úrovni 4% je tiež dosť hrubé. Znamená, že odhadovaný parameter sa bude reálne pohybovať v rozmedzí 4% (+-) (napr. keď zistíme, že daná politická strana má preferencie cca 13 %, reálne výsledok môže variovať od 9% až po 17%, čo je teda dosť široký interval). Preto radšej je vhodné dať interval napr. 2%.

 Príklady: 1) spoľahlivosť 95%, chyba odhadu 4%, rozsah základného súboru je 5 miliónov, počet respondentov má byť: 600. Tieto parametre použil autor, ale treba ešte upresniť, že autor vlastne použil dve odlišné a polovičné vzorky – jednu pre zisťovanie v jednom prostredí, druhú pre zisťovanie v druhom prostredí. Čiže vzorka bola polovičná než by sa žiadalo aj podľa autorových hrubých parametrov.

2) spoľahlivosť 95%, chyba odhadu 4%, rozsah základného súboru 50 000, počet respondentov má byť: 593,

  3) spoľahlivosť 95%, chyba odhadu 2%, rozsah základného súboru 5 miliónov, počet respondentov má byť: 2 400,

4) spoľahlivosť 99%, chyba odhadu 4%, rozsah základného súboru 5 miliónov, počet respondentov má byť: 1 040 ,

5) spoľahlivosť 99%, chyba odhadu 2%, rozsah základného súboru 5 miliónov, počet respondentov má byť: 4 157 ,

6. spoľahlivosť 99%, chyba odhadu 2%, rozsah základného súboru 50 000, počet respondentov má byť: 3 841.

Vzhľadom na vyššie uvedené návrhy, odporúčané parametre by mali byť: spoľahlivosť 95%, chyba odhadu 2% a rozsah základného súboru 5 miliónov (teda počet respondentov 2 400). To je však tiež dosť vysoký počet respondentov, v praxi sa uplatňuje nižší počet. Napríklad Eurobarometer používa približne 1 000 respondentov pre Slovensko.

Tretí problém súvisí s nastavením kalkulačky. Kalkulačka automaticky predpokladá „p“ (pravdepodobnosť rozsahu variantu na danej škale) na úrovni 50% – teda že v danom súbore sa vyskytuje 50% odpovedí áno a 50% odpovedí nie (čiže ako keby sme odhadovali 50% volebnych preferencii). Väčšinou však odhadujeme nižšsie percentuálne zastúpenia konkrétneho variantu na rozpätí znaku, teda aj požadovaný počet respondentov sa potom zníži. Ale to už nastavená kalkulačka neumožňuje. Pri “p” 0,5 je požadovaný počet respondentov najvyšší. Akonáhle je “p” napr. 0,2, požadovaný počet respondentov je nižší. Práve preto, aby sme sa vyvarovali “nedostatku” respondentov pre argumentáciu štatistikou, radšej dame tú najvyššiu možnú hodnotu “p” – a to je 0,5 (už vyššia byť nemôže, lebo vždy sa to dopočítava do 1,0 – teda keď máme p=0,2, potom “q” je 0,8, (tá “p” je vždy nižšia ako “q”).

Záverom vyjadrujeme presvedčenie, že náš príspevok podnieti redakciu na prijatie opatrení, ktoré by eliminovali publikovanie príspevkov s problematickou pravdivostnou výpovednou hodnotou a založených na neurčitých, neznámych, alebo dokonca nesprávnych kľúčových parametroch.

Zaujímavé by bolo aj informovanie zo strany redakcie, koľko čitateľov si všimlo a následne upozornilo na problematické aspekty autorovho výskumu. Ak totiž pozorných čitateľov bolo minimum, alebo dokonca nulový počet, čo to hovorí o vnútroodborovom dialógu v rámci mediálnych a žurnalistických (komunikačných) štúdií na Slovensku? Výskumná téma bola zaujímavá aj aktuálna. Pre zaujímavosť a doplnenie uvádzame, že v rámci prípravy tejto reakcie sme emailom oslovili viacerých (asi 10) expertov na metodiku na rôznych slovenských vysokých školách (najmä autorov učebníc metodológie vedy, kde sme očakávali profesionálny záujem o túto tému) ako aj v SAV, alebo priamo v súkromných výskumných agentúrach, ale odpoveď sme dostali len jednu – ospravedlnenie pre nedostatok času odpovedať podrobnejšie, od spoluautorky jednej učebnice, toho času na materskej dovolenke.

Netvrdíme pritom, že iné takéto resp. podobné príspevky už nenachádzame na Slovensku. Skôr opak je pravdou. Aj najmenej dva autorom v článku citované staršie príspevky na podobnú tému, sa zdajú byť rovnako problematické z hľadiska ich pravdivostnej výpovednej hodnoty. Treba, samozrejme, oceniť, že autor sa snaží o časovo náročný empirický výskum. Len si to žiada trochu viac metodickej precíznosti a logiky. Inak sa nám stráca rozdiel medzi (presnou) vedou a (nepresnou) publicistikou. Nesmieme zabúdať, že naše spoločné ambície sú relatívne malé – povedané slovami Bertolta Brechta:”Cieľ vedy nie je otvoriť dvere nekonečnej múdrosti, ale utvoriť hranice nekonečným omylom” (v Podolan, 2014, 764).

Zdroje:

Eurobarometer (2015, november-december). Štandardný Eurobarometer 84. Národná správa. Sprá

Hyett, N., Kenny, A. a V. Dickson-Swift (2014). Methodology or method? A critical review of qualitative case study reports. International Journal of Qualitative Studies Health Well-being. (9), http://www.ncbi.nlm.nih.gov/pmc/articles/PMC4014658/

Kočan, Rastislav (2017, 25.1.). Facebook, Youtube, Instagram…Koľko Slovákov je na sociálnych sieťach?,https://blog.etrend.sk/rastislav-kocan/facebook-youtube-instagram.html

MEDIAN (2016a, 26 máj). MML -TGI národný prieskum spotreby, médií a životného štýlu. Market & Media & Lifestyle – TG, Základné výsledky za 4. kvartál 2015 a 1. kvartál 2016, http://www.median.sk/pdf/2016/ZS161SR.pdf

Median (2016b). MML-TGI, 2+3, MML -TGI. Národný prieskum spotreby, médií a životného štýlu Market& Media & Lifestyle-TGI, Základné výsledky za 2. kvartál 2016 a 3. kvartál 2016, http://www.median.sk/pdf/2016/ZS163SR.pdf

Podolan, Martin (2014). Kniha citátov. Bratislava: PT Marenčin

Special Eurobarometer (2015) 423: Cyber security – Datasets http://ec.europa.eu/public_opinion/archives/ebs/ebs_423_sum_en.pdf

Andrej Školkay a Rastislav Bednárik

Ilustračný obrázok EU EB86

P.S. 7.1.2018 som napísal na verejne  dostupnú adresu jan.visnovsky@ucm.sk žiadosť o vyjadrenie sa – bez odpovede.