Victorias barnskyddsbyrå har beordrats att förbjuda personal från att använda generativa AI-tjänster efter att en arbetare konstaterats ha skrivit in betydande mängder personlig information, inklusive namnet på ett riskbarn, i ChatGPT.

Department of Families, Fairness and Housing rapporterade ärendet till Office of the Victorian Information Commissioner i december förra året efter att arbetaren misstänktes ha använt ChatGPT samtidigt som en rapport om skyddsansökan upprättas.

Ovic sa att rapporten hade lämnats in till barndomstolen i ett mål om ett litet barn vars föräldrar hade åtalats för sexualbrott. Åtalspunkterna gällde inte brott mot barnet.

I Ovics rapport om sin utredning av ärendet släpptes på tisdagen, kommissionären, Sean Morrison, fann att det fanns flera indikationer genom hela rapporten på att ChatGPT hade använts. Detta inkluderade användningen av språk som inte är standard enligt riktlinjerna för barnskydd och olämpliga meningsstrukturer.

“Mycket viktigare, delar av rapporten inkluderade personlig information som inte var korrekt,” sade rapporten.

”Särskilt oroande beskrev rapporten en barndocka – som anmäldes till barnskyddet som att den använts av barnets pappa för sexuella ändamål – som en anmärkningsvärd styrka i föräldrarnas ansträngningar att stödja barnets utvecklingsbehov med “åldersanpassad” leksaker.”

Ovic sa att användningen av ChatGPT hade effekten av att tona ned allvaret av den faktiska eller potentiella skadan på barnet, med potential att påverka beslut om barnets vård.

Men den sade också att rapporten inte ändrade beslutsfattandet av vare sig barnskyddsmyndigheten eller domstolen.

Att lägga in informationen i ChatGPT var ett obehörigt avslöjande av information som avdelningen kontrollerade, sa Ovic.

Efter ytterligare undersökningar av avdelningens användning av ChatGPT fann Ovic att arbetaren kan ha använt ChatGPT i 100 fall vid utarbetande av barnskyddsrelaterade dokument, och över hela avdelningen från juli till december 2023 hade nästan 900 anställda besökt ChatGPTs webbplats, redovisning för nästan 13 % av arbetskraften.

Ovic fann att ingen av de andra användningarna hade samma potentiella inverkan som den första rapporten.

Arbetaren erkände att han använde ChatGPT för att skapa rapporten “för att spara tid och för att presentera arbetet mer professionellt” men nekade att ha angett personlig information.

Medarbetare sa att arbetaren i fråga “hade visat sin användning av ChatGPT för andra, och att detta innebar att man matade in klientnamn i verktyget för att skapa innehåll”.

Ovic fann att arbetaren, utifrån sannolikhet, hade skrivit in personlig information.

Regulatorn utfärdade order till avdelningen, inklusive blockering av IP och domäner för en rad generativa AI-webbplatser, inklusive ChatGPT, Meta AI, Gemini och Copilot. Blocket ska vara på plats i två år från och med den 5 november.

Som svar sa avdelningen att den accepterade resultaten och skulle arbeta för att genomföra beställningarna. Den sa att den inte längre sysselsatte arbetaren.

Ovic lämnade dörren öppen för användning av generativ AI i framtiden men sa att riskmiljön skulle behöva förändras och att det skulle vara ett högt krav på skydd av barn.

“Den biträdande kommissionären tror att det kan finnas vissa specifika användningsfall där risken är mindre än andra, men att skydd av barn, till sin natur, kräver de allra högsta standarderna för vård,” sa Ovic.

“Alla ansökningar om att variera de specificerade åtgärderna i relation till barnskyddspersonal, information eller aktiviteter skulle behöva åtföljas av högsta standard för verifierbara bevis.”