Kobří efekt plošného testování

Anotace

Opakovaně se bavíme o tom, zda má smysl zavádět u nás plošné testování jako prostředek ověřování výsledků vzdělávacího procesu. A vypadá to, že tato diskuze zatím nekončí. Nejdůležitější dokument, který ovlivňuje budoucnost našeho školství, Strategie 2030+ říká, že se má „zavést ověřování dosahování výstupů v uzlových bodech … ve všech školách“ (v 5. a 9. ročníku) [1, str. 30]. Jaksi automaticky se předpokládá, že se mluví o ověřování plošném, tedy testování každého žáka.

Výsledky sice mají sloužit primárně škole a žákům samotným, svůj význam to ale má i z pohledu řízení celého resortu. Podle politiky založené na faktech nelze bez zpětné vazby získané zpracováním vhodných dat dělat správná rozhodnutí. Teoreticky je to tak, jenže problematika s tím spojená je skutečně hodně komplikovaná. To je pravděpodobně též důvod, proč se dosud žádnému našemu ministru školství nepodařilo opravdové plošné testování žáků zavést (jen jednotné přijímací zkoušky a státní maturitu, které se netýkají úplně všech), a v těch zemích, kde takový skutečně plošný systém mají, je předmětem opakovaných kritik.

Podívejme se na to, jak věc vidí David Manheim, izraelský matematik a vědec zabývající se rizikovým managementem, který koordinuje výzkumy agentury Technion [2]. Podle něj je třeba problematiku daty řízeného školství zkoumat ze tří úhlů pohledu – intuice, důvěry a komplexity. Na hodnocení žáků se v malém může úplně stejně dívat každý učitel.

Intuice

Navzdory snaze aplikovat na datech založenou politiku je stále dost situací, kdy je nutné udělat rozhodnutí bez potřebných fakt. Velké množství důležitých věcí, které v práci děláme, není měřitelné – a děláme je dobře. Možnost omylu je však všudypřítomná, a tak je dobré na intuici příliš nespoléhat. To znamená, že teoreticky správné je tam, kde to jde, vhodnost svých postupů ověřovat. Někde to nejde vůbec a někde je to tak drahé, že si to vůbec nemůžeme dovolit. Když se to podaří, může to být velmi přínosné. Častější ověřování intuice vede k jejímu zdokonalování a k rozvoji zkušeností. Rozhodnutí, zda se na ni lze v určitém případě spolehnout, není snadné.

Všichni učitelé by si měli být neustále vědomi např. rizika předpojatosti vzhledem k žákům. Podobně na tom někdy může být celá škola z pohledu veřejnosti – dobré či špatné „jméno“ nemusí vždy odpovídat realitě. V okamžiku, kdy se rozhodneme skutečnost ověřovat (měřit), stojíme před řešením mnoha dalších problémů.

Důvěra

Měření musí být založeno na důvěryhodnosti zjištěných dat a metody použité pro jejich vyhodnocení. Ne vždy je to splněno. U plošného testování to znamená zajistit věrohodnost. Odehrává-li se ve škole, mělo by to být pod dohledem nezaujaté osoby (nejednou se stalo, že učitel pomáhal svým žákům, neboť má na jejich výsledcích osobní zájem). Online je prokázání věrohodnosti ještě mnohem složitější (Podvádění při online výuce).

Jak známo, statistika je disciplína, která do značné míry dovoluje přizpůsobovat výsledky očekáváním zadavatelů. Důvěru lze zajistit jedině transparentností použitých metod a ověřitelností všech zjištění, tj. zveřejněním (anonymizovaných) zdrojových dat (v souladu s požadavky otevřené vědy).

Tím hlavním problémem je ale to, zda použitý test zjišťuje skutečně to, co má (validita). To je úplný základ. Je kontraproduktivní takové (mimochodem velmi drahé, má-li být důvěryhodné) plošné testování zavádět, a pak zjistit, že to, co se testuje, neodpovídá výukovým cílům, které jsme si stanovili. Problém je i to, když plošné testy ověřují jen malou část těchto cílů. A to je bohužel docela běžné, protože postihnout vše nelze.

Komplexita

Svět se rychle vyvíjí a množství informací exponenciálně roste. Vznikají stále nové, pro život potřebné gramotnosti. Každý obor se snaží do výuky zařadit nové poznatky a dovednosti. Přitom však se nechce, a často ani nemůže, se starým obsahem rozloučit, protože je pro pochopení nového nezbytný. Je známo, že již teď většina žáků dosahuje jen zlomku stávajících očekávaných výstupů RVP. Proto existuje snaha definovat jádrové učivo, které by bylo povinné pro všechny.

Jedná se o postup, který zjednodušuje stále obtížněji řešitelnou problematiku výběru toho, co učit. To znamená, že snižuje složitost silně komplexního systému, jakým vzdělávání ve skutečnosti je. Takto omezené výsledky učení je možné mnohem snadněji změřit, což je u celého komplexního systému nemyslitelné.

V zásadě je toto jediný možný postup, který dovoluje s vynaložením přijatelných nákladů zjistit, jak se celé naše školství (školy, žáci) vyvíjí. Lidstvo odjakživa inklinuje k vytváření pravidel a metrik, které mohou být velmi účinné a vyvolávat pobídky vedoucí ke zlepšení. V minulosti však nebyla problematika rozvoje lidské společnosti tak složitá jako dnes. A tak je riziko, že se to nemusí podařit, značné.

Goodhartův zákon

Goodhartův zákon (Goodhartovo pravidlo) říká: „Jestliže se určitá proměnná stane cílem, potom přestane být dobrým měřítkem.“ Charles Goodhart původně v 70. letech minulého století studoval měnovou politiku, tento jev má ale obecnou platnost. Rozhodně je třeba mu věnovat pozornost při správě komplexních systémů.

V důsledku Goodhartova zákona dochází jak k formování systému, tak k jeho deformování. Samotné měření způsobí, že se systém v jeho důsledku změní. Má tedy smysl pouze tehdy, vede-li jeho nasazení k podpoře skutečného pozitivního rozvoje systému (naplňování strategických výukových cílů). V případě, že tomu tak není, strategickou změnu naopak znesnadňuje.

Že musíme být při zavádění zjednodušujících měření obzvlášť opatrní, ukazuje následující příklad.

Kobří efekt

V době britské koloniální nadvlády se v Indii rozmnožily jedovaté kobry. Vláda přijala opatření, podle něhož každý, kdo odevzdal mrtvou kobru, obdržel odměnu. Pozitivní efekt však měl jen krátké trvání, protože lidé začali kobry ve velkém chovat, aby získali odměnu. Jakmile to vláda zjistila, opatření zrušila. Vtip je v tom (jedná se původně o anekdotu), že chovatelé poté své kobry prostě vypustili na svobodu.

Velmi podobný případ se (skutečně) odehrál za francouzské nadvlády ve Vietnamu, jen se jednalo o krysy. Byl o to lepší, že bylo možné odměnu získat jen za krysí ocas. Doma chované krysy ani nebylo třeba zabíjet, stačilo useknout ocas a počkat, až znovu naroste.

Závěr

Jestliže bude mít měření výsledků (plošné testování) vliv na hodnocení jednotlivých žáků či celé školy, zcela jistě to bude mít přímý dopad na výuku. Ta se bohužel zákonitě bude zaměřovat na to, co se bude testovat. V případě, že dojde na stanovení tzv. jádrového učiva, které se bude ověřovat, bude se výuka v mnoha školách soustřeďovat jen na ně. A to pravděpodobně nebude možné ani to jádrové učivo testovat kompletně celé – nejčastěji se mluví jen o matematické a čtenářské gramotnosti, takže všechny další tzv. „klíčové“ kompetence zůstanou stranou. Takové testování by se nakonec mohlo stát překážkou dosažení našich strategických cílů.

Stojíme před nesnadným rozhodnutím. Ověřování dosažených výsledků vzdělávání chápeme jako nezbytný krok podmiňující schopnost řídit resort školství, a přitom začínáme tušit, jak těžký tento úkol je. Postihnout měřením celý komplexní systém nelze, zavést jen to nejjednodušší ověřování založené na testování faktických znalostí či dovedností vybraného obsahu jádrového učiva by mohlo být vysloveně chybné.

Co dělat? Jednoduché řešení neexistuje, pár vhodných doporučení možná ano. Zde jsou:

• Zajistit, aby bylo přesně definováno (a všem známo), jaké části všech v RVP definovaných očekávaných výstupů se každé plošné testování týká.

• Zajistit, aby výsledky plošného testování sloužily primárně jako zpětná vazba žákům a učitelům.

• Znemožnit, aby výsledky plošného testování měly přímý dopad na závěrečné hodnocení žáků (v uzlových bodech).

• Zajistit, aby plošné testování bylo jen jednou z forem komplexního ověřování výsledků žáků postihujícího všechny cíle, které primárně slouží jako průběžná formativní zpětná vazba při učení a je základem pro závěrečné hodnocení.

• Snažit se prioritně obsah plošného testování sladit s aktuálními strategickými cíli vzdělávací politiky, tj. orientovat se více na kompetence a méně na faktické znalosti.

• Sladit realizovaná opatření s nově zpracovaným dlouhodobým plánem ověřování výsledků vzdělávání založeným na aplikaci technologiemi podporované analýzy výsledků využívající umělou inteligenci vedoucí k personalizaci.

• Vnímat vzdělávání jako komplexní systém (Vzdělávání ve věku komplexity), v němž je hlavním úkolem školství vyvolat u žáků růstové myšlení (jemuž může samotná existence jádrového učiva bránit).

Složité systémy mají složité problémy, které je třeba řešit. Zjednodušení je možné, ale ve skutečnosti složitost nesnižuje. Může problémy skrývat, nebo dokonce vytvářet nové. V komplexním světě se lidské systémy nevyhnou definování pravidel (standardů) a metrik, které motivují k jejich dodržování. Jsou-li v souladu s cíli potřebného rozvoje společnosti, mohou být přínosné.

Nevím, jakou šanci máme, že bude-li plošné ověřování výsledků našich žáků v uzlových bodech vzdělávacího procesu realizováno, bude přínosem pro naplnění naší Strategie 2030+. Obavy jsou na místě. Snad se nestane dalším odstrašujícím příkladem kobřího efektu.