Počítačové adaptivní testování

Počítačové adaptivní testování (computerized adaptive testing, CAT) je metoda zadávání a zpracování testů, která přizpůsobuje výběr testovacích úloh schopnostem testované osoby. Proto je také někdy nazýváno testováním na míru (tailored testing).

Počítačový adaptivní test je test, při kterém testovací software vybírá úlohy testovaného z relativně velké banky úloh podle jeho odpovědi/í na úlohu/y předešlou/é. Pokud testovaný odpoví správně, dostane úlohu obtížnější, pokud chybně, je mu zadána úloha snadnější. Volbou obtížnosti úloh se testovací software přibližuje úrovni schopnosti testovaného.

Počítačové adaptivní testování je jednou z nejvýznamnějších aplikací IRT (teorie odpovědi na položku). Základem počítačového adaptivního testování je, že pro získání co největšího množství informací by bylo ideální, aby každý respondent dostal položky, u kterých má právě poloviční pravděpodobnost správné odpovědi. Základem je kvalitní položková banka. V položkové bance je třeba dodržovat obsahovou vyváženost (např. dostatek položek na testování gramatických schopností, porozumění,…) a vyváženost z hlediska pokrytí celého spektra obtížnosti. V položkové bance jsou dostupné položky, ze kterých se vybírají položky, kde má respondent poloviční pravděpodobnost správné odpovědi. V rámci CAT je navíc kladen daleko větší důraz na individuální kvalitu položek.

Mělo by dojít k omezení položek, které jsou pro respondenta příliš jednoduché, nebo příliš obtížné. Výsledek, kde by respondent odpověděl na všechny položky správně nebo naopak špatně nám řekne velmi málo. Funkce testu je založena na principu snižování či zvyšování úrovně. Pokud je tedy položka na určité úrovni obtížnosti zodpovězena špatně, úroveň se sníží. Naopak pokud je položka zodpovězena správně, úroveň se zvýší. V testu tedy jde o dosažení určité úrovně chyby nebo přesnosti.

Historie

Začátky adaptivních testů můžeme pozorovat od roku 1905, kdy Alfred Binet a Theodor Simon vytvořili první „inteligenční test“ (Binet IQ test). Zde výběr položek však prováděl sám zkoušející, na základě odhadovaného mentálního věku. Vznikly i soubory položek pro každý rok od 3 do 11 let, které můžeme považovat za položkovou banku.

Od počátku 20. století probíhal vývoj přijímacích testů na amerických univerzitách právě prostřednictvím adaptivních testů. K tomuto účelu byla také založena College Board a ta začala s vývojem testů studijních předpokladů (Scholastic Aptitude Test = SAT).

První mechanický stroj na skórování testů vytvořili v roce 1934 profesor Benjamin Wood a inženýři z IBM.

V 50. let 20. století začaly vznikat jednoduché počítačové programy pro adaptivní testování. Jako první vznikaly programy lineární. Programy, kdy byly počítače schopné vytvořit sadu otázek různých úloh banky se začaly objevovat až od 70. let. Jednalo se však o předem dané větve a smyčky otázek, přizpůsobivost testů byla tedy omezená.

Počítačová varianta Binet-Simonova testu vznikla v roce 1973. letech, kterou vytvořil navrhl Weis.

V posledních dvaceti letech se staly počítačové adaptivní testy široce používané.

Například:

Graduate Management Admission Test (GMAT) = počítačová adaptivní verze testu

Graduate Record Eamination (GRE) = test studijních předpokladů pro doktorské studium

National Council Licensure Examination (NCLEX) = test pro získání licence zdravotní sestry

Druhy počítačových adaptivních testů

Adaptivní testy se liší podle toho, zdali jsou otázky vybírány jednotlivě nebo baleny po více otázkách do většího bloku, nebo dokonce do malých testíků.

Podle toho rozlišuje Drasgow, Lucechet a Bennett tři modely počítačového adaptivního testování

1. CAT na úrovni úloh Tento model se přizpůsobuje obtížnost testu každému testovanému na míru, a to úlohu po úloze. Výběr úloh vychází z výkonu testovaného v úloze předchozí.
2. CAT založený na testech a počítačové mastery testy Tento model je založen na tzv. testlech (testl = sada úloh či minitest) a zahrnuje adaptivní administraci předem sestavených sad úloh testovaným. A proto je pouze částečně adaptivní. Jednotkou testu není tedy jedna úloha, ale testlet. Banka úloh je tedy uspořádána do testletů ve kterých jsou úlohy právě jednou a neopakují se.
3. Strukturované počítačové adaptivní vícestupňové testy Jsou adaptivní testy, opět používající testlety. Testlety jsou baleny do panelů. Každá panel má čtyři a více testletů. Testlety jsou explicitně určeny pro konkrétní fázi a specifickou cestu uvnitř panelu.

Výhody

Za hlavní výhodu CAT je považována jeho efektivita. Tedy nutnost administrace menšího počtu položek k dosažení stanovené míry přesnosti. Důležitou výhodou je i zpřesnění hodnocení respondentů s extrémními úrovněmi rysu (schopnosti). Respondent je v průběhu celého testu dostatečně motivován. Jelikož mu jsou většinou předkládány položky odpovídající úrovni jeho rysu, takže je test tak akorát těžký. Příliš mnoho velmi jednoduchých položek může respondenta nudit, unavovat a zvyšuje tak nebezpečí chyb z nepozornosti. Naopak příliš mnoho obtížných položek zase zvyšuje frustraci, snižuje motivaci respondenta a přináší nebezpečí hádání. Počítačové adaptivní testy mají ve svých položkových bankách velký počet položek. Je tudíž možné test opakovat bez nežádoucího efektu učení. Respondent totiž prakticky podstupuje při opakování úplně jiný test. Každý respondent podstupuje trochu odlišný test, s jiným pořadím položek a tím se zároveň zamezuje opisování. Test může být snadno revidován. Počítačové adaptivní testy lze snadno upravovat. Položky v položkové bance mohou být přidávány, odebírány nebo nahrazovány bez ohrožení integrity testu. Parametry položek mohou být stále zpřesňovány a aktualizovány.

Uvádí se také, že doba testování pomocí CAT je kratší ve srovnání s konvenčními testy.

Mnoho testovaných také uvádí, je pro ně test příjemnější. Také se v tomto typu testu snižuje možnost opisování tudíž je bezpečnější pro testujícího.

Díky novým softwarům může v testu být zahrnuto i multimédium (zvuk, obraz, jejich propojení)

Nevýhody

Počítačové adaptivní testování má i své nevýhody. Největší nevýhodou vysoké prvotní náklady na pořízení softwarového a hardwarového vybavení, dále také vysoké nároky na teoretickou připravenost provozovatele testu. Respondenti často negativně hodnotí nemožnost přeskakování položek, jejich zpětné kontroly a oprav v testu, ale také to, že není možné během testu zjistit, v jaké fázi se právě nachází a jak velká část testu ještě zbývá.

CAT testy mohou u respondenta vyvolat pocit nespravedlnosti, protože může vnímat svůj set položek jako obtížnější nebo příliš krátký. Respondent může mít dojem, že výsledek v testu neodpovídá jeho procentuální úspěšnosti, protože stejné procento správných odpovědí v testu může vést k odlišným odhadům.

Další nevýhodou počítačových adaptivních testů je také nemožnost hodnocení otevřených odpovědí.

Nejvíce náročné je, že CAT vyžaduje banku kalibrovaných úloh

Vytváření CAT testů

Jedna z možností je převést klasický test do počítačové adaptivní podoby, nebo vytvořit zcela nový. V obou případech je potřeba kalibrovat položky a vytvořit dostatečně velkou položkovou banku.

Dnes lze jednoduchý test vytvořit i prostřednictvím Google formulářů.

Položková banka

Počítačové adaptivní testy vytvářejí spoustu jednotlivých testů, přitom je každý z nich jiný. Za jakési minimum je považováno 100 položek. V praxi se však pracuje s mnohem větším počtem položek, řádově stovky až tisíce položek. Obtížnost položek v položkové bance je vhodné volit podle účelu testu. V položkové bance by měl být dostatek položek s různými obtížnostmi, aby pokryly různé úrovně a měřily tak ve všech jeho úrovních dostatečně přesně. Každá položka v CAT musí být kvalitní, záleží zde více na jednotlivých položkách. Jedna problematická položka může změnit celý test nebo alespoň snížit jeho přesnost a efektivitu.

Kalibrace úloh

Při tomto testování je nutno kalibrovat úlohy podle tří parametrů: citlivost (a), obtížnost (b), hádání (c). Proto musí předcházet klasická analýza položek, pomocí které jsou vyřazeny úlohy s velmi malou citlivostí (hodnoty kolem 0 či záporné).

Test je většinou i po jeho publikování dále pozorován, zdokonalován a aktualizován.

Administrace

Je třeba zkontrolovat vhodnost počítačového vybavení, zabarvení a rozlišení monitoru, externí zařízení apod. Testovací algoritmus je soubor pravidel specifikujících položky, které mají být zodpovězeny respondentem a jejich pořadí prezentace.

Testovací algoritmus zahrnuje:

1. Zahájení testu - výběr první položky nebo několika položek
2. Pokračování testu - metody výběru následujících položek. Může zahrnovat pravidla pro hádání, přeskakování položek, kontrolu zobrazení položek apod.
3. Ukončení testu - podle různých kritérií 

Podle ukončení lze testy rozdělit na testy s pevnou délkou a testy s variabilní délkou.

Nejběžnější podmínkou ukončení testu je dosažení stanovené přesnosti měření určené podmíněnou chybou aktuálního odhadu latentního rysu. Jedná se tedy o testy s variabilní délkou. U testů s pevnou délkou je test ukončen po administraci daného pevného počtu položek pro všechny respondenty. Tento způsob je využíván hlavně z organizačních důvodů při hromadném testování. 

Odkazy

Literatura

• Diplomová práce, Jana Dlouhá, Univerzita Karlova v Praze, Filozofická fakulta, Počítačové adaptivní testování a možnosti jeho využití v psychodiagnostice, Praha 2013 (online: https://is.cuni.cz/webapps/zzp/download/120146552) cit. 16. 12. 2017
• Embretson, S.E., Computerized Adaptive Testing: Its Potential Substantive Contributions to Psychological Research and Assessment. Current Directions in Psychological Science, 1992 str. 129-131.
• Jelínek, M., Květon, P., & Vobořil, D., Testování v psychologii: teorie odpovědi na položku a počítačové adaptivní testování. Praha 2011: Grada.
• Květon, P., Jelínek, M., Denglerová, D., & Vobořil, D., Software pro adaptivní testování: CAT v praxi. Československá psychologie, 2008, str. 145-154. 
• FILÍPKOVÁ, Zuzana a Petr BYČKOVSKÝ. Studie proveditelnosti počítačového testování v prostředí českých škol. Praha, 2008 (online: http://docplayer.cz/1476641-Studie-proveditelnosti-pocitacem-adaptovaneho-testovani-v-prostredi-ceskych-skol.html) cit. 16. 12. 2017

Externí odkazy

• http://psychology.wikia.com/wiki/Adaptive_testing
• http://www.wikiskripta.eu/index.php/F%C3%B3rum:Testy/Adaptivn%C3%AD_testov%C3%A1n%C3%AD