OpenAI släppte på torsdagen sin första rapport någonsin om hur dess artificiella intelligensverktyg används för hemliga inflytandeoperationer, och avslöjar att företaget hade stört desinformationskampanjer från Ryssland, Kina, Israel och Iran.

Skadliga aktörer använde företagets generativa AI-modeller för att skapa och publicera propagandainnehåll över sociala medieplattformar och för att översätta deras innehåll till olika språk. Ingen av kampanjerna fick dragning eller nådde en stor publik, enligt rapporten.

Eftersom generativ AI har blivit en blomstrande bransch har det funnits utbredd oro bland forskare och lagstiftare över dess potential för öka kvantiteten och kvaliteten av online desinformation. Artificiell intelligens-företag som OpenAI, som gör ChatGPT, har försökt med blandade resultat att lindra dessa farhågor och placera skyddsräcken på deras teknik.

OpenAI:s 39-sidiga rapport är en av de mest detaljerade redogörelserna från ett företag med artificiell intelligens om användningen av dess programvara för propaganda. OpenAI hävdade att dess forskare hittade och förbjöd konton associerade med fem hemliga inflytandeoperationer under de senaste tre månaderna, som kom från en blandning av statliga och privata aktörer.

I Ryssland, två operationer skapade och spred innehåll som kritiserade USA, Ukraina och flera baltiska länder. En av operationerna använde en OpenAI-modell för att felsöka kod och skapa en bot som publicerade på Telegram. Kinas påverkansoperation genererade text på engelska, kinesiska, japanska och koreanska, som operatörerna sedan publicerade på Twitter och Medium.

Iranska skådespelare genererade fullständiga artiklar som attackerade USA och Israel, som de översatte till engelska och franska. Ett israeliskt politiskt företag vid namn Stoic drev ett nätverk av falska konton på sociala medier som skapade en mängd innehåll, inklusive inlägg som anklagade amerikanska studentprotester mot Israels krig i Gaza för att vara antisemitiska.

Flera av de desinformationsspridare som OpenAI förbjöd från sin plattform var redan kända för forskare och myndigheter. USA:s finansministerium sanktionerade två ryska män i mars som påstås ligga bakom en av kampanjerna som OpenAI upptäckte, medan Meta också förbjöd Stoic från sin plattform i år för att ha brutit mot dess policyer.

Rapporten belyser också hur generativ AI införlivas i desinformationskampanjer som ett sätt att förbättra vissa aspekter av innehållsgenerering, som att göra mer övertygande inlägg på främmande språk, men att det inte är det enda verktyget för propaganda.

“Alla dessa operationer använde AI i någon mån, men ingen använde den exklusivt”, stod det i rapporten. “Istället var AI-genererat material bara en av många typer av innehåll de postade, tillsammans med mer traditionella format, som manuellt skrivna texter eller memes kopierade från hela internet.”

Även om ingen av kampanjerna resulterade i någon märkbar effekt, visar deras användning av tekniken hur illvilliga aktörer upptäcker att generativ AI tillåter dem att skala upp produktionen av propaganda. Att skriva, översätta och lägga upp innehåll kan nu göras mer effektivt genom att använda AI-verktyg, vilket sänker ribban för att skapa desinformationskampanjer.

Under det senaste året har illvilliga aktörer använt generativ AI i länder runt om i världen för att försöka påverka politik och opinion. Deepfake ljud, AI-genererade bilder och textbaserade kampanjer har alla använts för störa valkampanjervilket leder till ökad press på företag som OpenAI att begränsa användningen av sina verktyg.

OpenAI uppgav att de planerar att med jämna mellanrum släppa liknande rapporter om hemliga påverkansoperationer, samt ta bort konton som bryter mot dess policyer.