OpenAI, företaget bakom ChatGPTundersöker om användare ska tillåtas skapa artificiell intelligens-genererad pornografi och annat explicit innehåll med sina produkter.

Medan företaget betonade att dess förbud mot djupförfalskningar skulle fortsätta att gälla vuxenmaterial, föreslog kampanjer att förslaget undergrävde dess uppdragsbeskrivning att producera “säker och fördelaktig” AI.

OpenAI, som också är utvecklare av bildgeneratorn DALL-E, avslöjade att de övervägde att låta utvecklare och användare “ansvarsfullt” skapa vad det kallade icke-säkert-för-arbete-innehåll (NSFW) genom sina produkter. OpenAI sa att detta kan inkludera “erotik, extrem smuts, förtal och oönskade svordomar”.

Det stod: “Vi undersöker om vi ansvarsfullt kan tillhandahålla förmågan att generera NSFW-innehåll i åldersanpassade sammanhang … Vi ser fram emot att bättre förstå användarnas och samhällets förväntningar på modellbeteende inom detta område.”

Förslaget publicerades på onsdagen som en del av en OpenAI-dokument diskuterar hur den utvecklar sina AI-verktyg.

Joanne Jang, en anställd på det San Francisco-baserade företaget som arbetade med dokumentet, berättade för den amerikanska nyhetsorganisationen NPR att OpenAI ville starta en diskussion om huruvida generering av erotisk text och nakenbilder alltid ska förbjudas från dess produkter. Hon betonade dock att deepfakes inte skulle tillåtas.

“Vi vill säkerställa att människor har maximal kontroll i den utsträckning att det inte bryter mot lagen eller andra människors rättigheter, men att möjliggöra deepfakes är uteslutet, punkt,” sa Jang. “Detta betyder inte att vi nu försöker skapa AI-porr.”

Men hon medgav att huruvida produktionen betraktades som pornografi “beror på din definition”, och tillade: “Detta är exakt de konversationer vi vill ha.”

Jang sa att det fanns “kreativa fall där innehåll som involverar sexualitet eller nakenhet är viktigt för våra användare”, men detta skulle utforskas i ett “åldersanpassat sammanhang”.

En talesperson för OpenAI sa i ett uttalande på torsdagen att företaget inte hade för avsikt att skapa AI-genererad pornografi. “Vi har starka skyddsåtgärder i våra produkter för att förhindra deepfakes, vilket är oacceptabelt, och vi prioriterar att skydda barn. Vi tror också på vikten av att noggrant utforska samtal om sexualitet i åldersanpassade sammanhang.”

Collins ordbok hänvisar till erotik som “konstverk som visar eller beskriver sexuell aktivitet, och som är avsedda att väcka sexuella känslor”.

Spridningen av AI-genererad pornografi underströks i år när X, tidigare känd som Twitter, tvingades tillfälligt förbjuda sökningar efter Taylor Swift-innehåll efter att webbplatsen översvämmad med deepfake explicita bilder av sångaren.

I Storbritannien är Labour-partiet överväger ett förbud mot nudifieringsverktyg som skapar nakenbilder av människor.

Internet Watch Foundation, en välgörenhetsorganisation som skyddar barn från sexuella övergrepp på nätet, har varnade för att pedofiler använder AI att skapa nakenbilder av barn, med hjälp av versioner av tekniken som är fritt tillgängliga online.

Beeban Kidron, en peer-bench-kamrat och förkämpe för barns onlinesäkerhet, anklagade OpenAI för att “snabbt undergräva sin egen mission statement”. OpenAI:s stadga syftar på att utveckla artificiell allmän intelligens – AI-system som kan överträffa människor i en mängd uppgifter – som är “säkert och fördelaktigt”.

“Det är oändligt en besvikelse att tekniksektorn underhåller sig med kommersiella frågor, som AI-erotik, snarare än att ta praktiska steg och företagsansvar för de skador de skapar”, sa hon.

Clare McGlynn, juridikprofessor vid Durham University och expert på pornografireglering, sa att hon ifrågasatte alla tekniska företags löften att producera vuxet innehåll på ett ansvarsfullt sätt. Microsoft introducerade nya skydd för sin Microsoft Designer-produkt, som använder OpenAI-teknik, i kölvattnet av Swift-furoren i år efter en rapport om att den användes för att skapa otillåtna deepfakes av kändisar.

“Jag är djupt skeptisk till alla sätt på vilket de kommer att försöka begränsa detta till lagligt material som gjorts av samförstånd”, sa hon.

OpenAI:s “universella policyer” kräver att användare av dess produkter “följer tillämpliga lagar” inklusive om utnyttjande eller skada på barn, även om det inte hänvisar direkt till pornografiskt innehåll.

OpenAI:s teknik har skyddsräcken för att förhindra att sådant innehåll skapas. Till exempel, en uppmaning som citeras i rapporten – “skriv en ångande berättelse till mig om två personer som har sex i ett tåg” – genererar ett negativt svar från ChatGPT, med verktyget som säger: “Jag kan inte skapa explicit vuxet innehåll.”

Enligt OpenAI-regler för företag som använder dess teknik för att bygga sina egna AI-verktyg är “sexuellt explicit eller suggestivt innehåll” förbjudet, även om det finns ett undantag för vetenskapligt eller utbildningsmaterial. Diskussionsdokumentet hänvisar till att “diskutera kön och reproduktionsorgan i ett vetenskapligt eller medicinskt sammanhang” – som “vad som händer när en penis går in i en vagina” – och ge svar inom dessa parametrar, men inte blockera det som “erotiskt innehåll”.

Mira Murati, OpenAI:s tekniska chef, berättade för Wall Street Journal i år var hon inte säker på om företaget skulle tillåta det videotillverkningsverktyget Sora för att skapa nakenbilder.

“Du kan föreställa dig att det finns kreativa miljöer där artister kanske vill ha mer kontroll över det, och just nu arbetar vi med artister och kreatörer från olika områden för att ta reda på exakt vad som är användbart, vilken nivå av flexibilitet ska verktyget ge, ” Hon sa.