Obrat skúšok: za algoritmom, ktorý spustil chaos na úrovni A
„Semená politickej katastrofy“ zasiate list zaslaný Gavinom Williamsonom ako blokovanie bolo oznámené v marci
„Semená politickej katastrofy“ zasiate list zaslaný Gavinom Williamsonom ako blokovanie bolo oznámené v marci
Chris J Ratcliffe/Getty Images
Keď minulý týždeň prepukol hnev po zverejnení známok na úrovni A, premiér Boris Johnson trval na tom, že výsledky sú pre zamestnávateľov silné, dobré a spoľahlivé.
Ale len o niekoľko dní neskôr, po tom, čo Ofqual náhle zrušil kritériá pre príťažlivé známky, bola vláda nútená urobiť trápny obrat, pričom výsledky teraz budú založené na predpovediach učiteľov a nie na kontroverznom algoritme.
Automatizovaný systém bol použitý v snahe vyhnúť sa tomu, čo minister školstva Gavin Williamson opísal ako nekontrolovateľnú infláciu na pozadí pandémie koronavírusu a zrušených skúšok. Ale kto prišiel s algoritmom, ktorý by mohol stáť Williamsona v kabinete?
Bezprecedentné okolnosti
Semená politickej katastrofy boli zasiate v deň, keď vstúpilo do platnosti blokovanie, keď Williamson v liste Ofqualovi varoval, že prioritou je vyhnúť sa inflácii. Časy správy.
Spoločnosť Ofqual by mala zabezpečiť, pokiaľ je to možné, že kvalifikačné štandardy budú zachované a rozdelenie známok bude mať podobný profil ako v predchádzajúcich rokoch, povedal Williamson regulátorovi skúšok.
Inými slovami, píše sa v novinách, napriek tomu, že žiaci neskúšali, vláda chcela pristupovať k triede v roku 2020 ako v predchádzajúcich rokoch. A-úrovne boli považované za „zlatý štandard“ vzdelávacieho systému a nemali byť znehodnotené.
Ale pri poverení regulátora skúšok, aby uzavrel poistku vo forme jeho nešťastného algoritmu, zašla táto túžba obmedziť infláciu priďaleko, dodáva BBC .
Čo sa pokazilo?
Na žiadosť tajomníka školstva sa do toho pustili štatistici regulátoravymyslieť systém rozdávania známokto neumožnilo, aby sa výsledky skúšok zvýšili oproti predchádzajúcim rokom, vysvetľuje Jo-Anne Bairdová, profesorka hodnotenia vzdelávania na Oxfordskej univerzite a členka poradného výboru Ofqual.
Problémom bolo, že v prípade triedy Covid stála starosť o udržiavanie štandardov príliš vysoká cena, uvádza BBC.
Celkom 39 % výsledkov na úrovni A zverejnených minulý štvrtok bolo znížených a žiaci v znevýhodnených oblastiach boli nepomerne najviac zasiahnutí, hovorí NS Tech , divízia New Statesman.
Algoritmus predpovedal stupne po privedení rôznych bitov údajov.
Prvým bola učiteľova predpokladaná známka pre každého študenta na základe ich výkonu v triede a falošných skúšok, vysvetľuje spravodajská stránka. To sa však samo osebe považovalo za nedostatočné, takže učitelia boli požiadaní, aby zoradili každého študenta od najvyššieho po najnižšie z hľadiska ich očakávanej známky.
Školy sa vrhli na úlohu hodnotenia, dodáva The Times, pričom vedúci oddelení viedli stretnutia, na ktorých učitelia argumentovali za svojich žiakov.
Ale, píše sa v novinách, v systéme Ofqual bol háčik. A správa zverejnené regulačným úradom minulý týždeň odhalilo, že učiteľom pridelené známky boli uprednostňované iba v triedach s menej ako 15 žiakmi - systém, ktorý uprednostňoval súkromné školy s menším počtom žiakov.
Naopak, pre žiakov vo väčších školách boli známky oveľa viac ovplyvnené historickým výkonom školy a hodnotením ich učiteľa ako ich predpokladané známky, dodáva NS Tech.
Tento nesúlad je spôsobený neúmerným počtom študentov zo škôl, ktoré zvyčajne neposielajú žiakov na najlepšie univerzity v Spojenom kráľovstve, ktorým sa ich predpokladané známky agresívne znížili.
Bol možný spravodlivejší systém?
Podľa Časy “ Vedecký redaktor Tom Whipple, vytvoriť spravodlivý algoritmus je ako snažiť sa uvariť vajce – to znamená nemožné.
Problém, píše Whipple, je v tom, že keď ľudia extrapolujú z údajov o populácii, aby urobili predpovede o jednotlivcoch... môžete nakoniec robiť najrôznejšie protiintuitívne, prekvapivé a niekedy absurdné chyby.
To je to, čo sa pokazilo pri algoritme založenom tak silne na historických výsledkoch školy, tvrdí. Je jasné, že to bude nespravodlivé voči výnimočným deťom vo výnimočných školách, zatiaľ čo naopak, bude to príliš láskavé voči tým výnimočným vo výnimočných školách.
Sam Freedman, generálny riaditeľ mimovládnej organizácie Education Partnerships Group, s týmto verdiktom súhlasí. Algoritmus sa nevyhnutne chystal zasiahnuť odľahlých študentov, ktorí boli na vrchole distribúcie v školách, ktoré v minulosti nemali veľa dobrých výsledkov. tweety .
Freedman však dodáva, že rozhodnutie vlády používať iba známky predpovedané učiteľmi je tiež nespravodlivé voči žiakom v školách, ktorí známkovali opatrne, nespravodlivé voči minulým/budúcim kohortám a vytvorili lotériu pre univerzity.
A obrat môže pre niektorých študentov prísť príliš neskoro, pričom mnohé univerzity tvrdia, že kurzy na budúci akademický rok sú už plné.
Pokiaľ ide o algoritmus, štatistika je podľa definície spôsob, ako reprezentovať veľa čísel v menšom množstve, hovorí Whipple.
Je to nesmierne užitočné, ale musíme vedieť, čo to znamená: zabudnúť na jednotlivca.
