Forskare vid University of Reading lurade sina egna professorer genom att i hemlighet skicka in dem AI-genererade provsvar som gick oupptäckt och fick bättre betyg än riktiga elever.

Projektet skapade falska studentidentiteter för att skicka in oredigerade svar genererade av ChatGPT-4 i onlinebedömningar för grundutbildningar.

Universitetets markörer – som inte fick veta om projektet – flaggade bara ett av de 33 bidragen, med de återstående AI-svaren som fick högre betyg än genomsnittet än studenterna.

Författarna sa att deras resultat visade att AI-processorer som ChatGPT nu klarade “Turing-testet” – uppkallat efter datorpionjären Alan Turing – för att kunna passera oupptäckt av erfarna domare.

Fakturerad som “den största och mest robusta blinda studien i sitt slag” för att undersöka om mänskliga lärare kunde upptäcka AI-genererade svar, varnade författarna för att det hade stora konsekvenser för hur universiteten bedömer studenter.

“Vår forskning visar att det är av internationell betydelse att förstå hur AI kommer att påverka integriteten i utbildningsbedömningar”, säger Dr Peter Scarfe, en av författarna och docent vid Readings skola för psykologi och kliniska språkvetenskaper.

“Det gör vi inte nödvändigtvis gå tillbaka helt till handskrivna provmen [the] den globala utbildningssektorn kommer att behöva utvecklas inför AI.”

Studien drog slutsatsen: “Baserat på nuvarande trender kommer förmågan hos AI att uppvisa mer abstrakta resonemang att öka och dess detekterbarhet minskar, vilket innebär att problemet för akademisk integritet kommer att bli värre.”

Experter som granskade studien sa att det var en dödsstöt för hemprov eller oövervakade kurser.

Prof Karen Yeung, stipendiat i juridik, etik och informatik vid University of Birmingham, sa: “Publiceringen av detta kvalitetssäkringstest i verkligheten visar mycket tydligt att de generativa AI-verktygen fritt och öppet tillgängliga gör det möjligt för studenter att fuska med sig hem. undersökningar utan svårighet för att få bättre betyg, men sådant fusk är praktiskt taget omöjligt att upptäcka.”

Studien tyder på att universitet skulle kunna inkludera AI-material som genererats av studenter i bedömningar. Prof Etienne Roesch, en annan författare, sa: “Som sektor måste vi komma överens om hur vi förväntar oss att studenter ska använda och erkänna AIs roll i sitt arbete. Detsamma gäller den bredare användningen av AI på andra områden i livet för att förhindra en förtroendekris i hela samhället.”

Prof Elizabeth McCrum, Readings prorektor för utbildning, sa att universitetet “rörde sig bort” från att använda hemprov online och utvecklade alternativ som skulle innefatta att tillämpa kunskap i “verkliga, ofta arbetsplatsrelaterade” miljöer.

McCrum sa: “Vissa bedömningar kommer att stödja eleverna att använda AI. Att lära dem att använda det kritiskt och etiskt; utveckla sin AI-kunskap och utrusta dem med nödvändiga färdigheter för den moderna arbetsplatsen. Andra bedömningar kommer att slutföras utan användning av AI.”

Men Yeung sa att att tillåta användningen av AI i tentor på skolor och universitet kan skapa sina egna problem med att “avkänna” elever.

“Precis som många av oss inte längre kan navigera oss runt obekanta platser utan hjälp av Google Maps, finns det en verklig fara att den kommande generationen kommer att sluta effektivt kopplas till dessa maskiner, oförmögna att ägna sig åt seriöst tänkande, analys eller skrivande. utan deras hjälp, sa Yeung.

I studiens slutnoter föreslår författarna att de kan ha använt AI för att förbereda och skriva forskningen, och de säger: “Skulle du anse det som “fusk”? Om du ansåg att det var “fusk” men vi nekade att använda GPT-4 (eller någon annan AI), hur skulle du försöka bevisa att vi ljög?”

En talesperson för Reading bekräftade att studien “definitivt gjordes av människor”.