Feller flera timmar i veckan, skriver jag för ett teknikföretag värt miljarder dollar. Vid sidan av mig finns publicerade romanförfattare, akademiker på uppgång och flera andra frilansjournalister. Arbetsbelastningen är flexibel, lönen bättre än vi är vana vid och uppdragen tar aldrig slut. Men det vi skriver kommer aldrig att läsas av någon utanför företaget.

Det beror på att vi inte ens skriver för människor. Vi skriver för en AI.

Stora språkmodeller (LLM) som t.ex ChatGPT har gjort det möjligt att automatisera enorma delar av det språkliga livet, från att sammanfatta vilken mängd text som helst till att skriva e-postmeddelanden, uppsatser och till och med hela romaner. Dessa verktyg verkar så bra på att skriva att de har blivit synonyma med själva idén om artificiell intelligens.

Men innan de någonsin riskerar att leda till en gudliknande superintelligens eller förödande massarbetslöshet behöver de först utbildning. Istället för att använda dessa storslagna chatbots för att automatisera oss ur vår försörjning, anlitar teknikföretag oss för att hjälpa till att träna deras modeller.

Kärnan i jobbet är att skriva låtsassvar på hypotetiska chatbotfrågor. Detta är träningsdata som modellen behöver matas in. “AI” behöver ett exempel på hur “bra” ser ut innan den kan försöka producera “bra” skrivande.

Förutom att förse vår modell med sådant “guldstandard”-material, hjälper vi den också att försöka undvika att “hallucinera” – en poetisk term för att berätta lögner. Vi gör det genom att ge det exempel som använder en sökmotor och citerar källor. Utan att se skrift som gör detta kan den inte lära sig att göra det av sig själv.

Utan bättre språkdata kan dessa språkmodeller helt enkelt inte förbättras. Deras värld är vårt ord.

Hålla fast. Är inte dessa maskiner tränade på miljarder och åter miljarder ord och meningar? Vad skulle de behöva oss köttiga skriftlärda till?

Tja, till att börja med är internet ändligt. Och så är också summan av varje ord på varje sida i varje bok som någonsin skrivits. Så vad händer när den sista broschyren, papyrus och prolegomenon har digitaliserats och modellen fortfarande inte är perfekt? Vad händer när vi får slut på ord?

Datumet för den språkliga apokalypsen har redan satts. Forskare meddelade i juni att vi kan förvänta oss att detta kommer att ske mellan 2026 och 2032 “om nuvarande LLM-utvecklingstrender fortsätter”. Vid den tidpunkten kommer “modeller att tränas på datauppsättningar som är ungefär lika stora som det tillgängliga beståndet av offentlig mänsklig textdata.”

Notera ordet mänsklig. Stora språkmodeller gör lite annat än prosa, varav mycket redan publiceras på internet. Så kunde vi inte träna dessa modeller på deras egen produktion (så kallad syntetisk data)? Vårt cyborginternet – medförfattare av oss och våra ordmaskiner – skulle då kunna svälla i oändlighet. Ingen sådan tur. Att träna våra nuvarande stora språkmodeller på deras egen produktion fungerar inte. “Ourskillningslöst lärande från data som produceras av andra modeller orsakar ‘modellkollaps’ – en degenerativ process där modeller över tid glömmer bort den verkliga underliggande datadistributionen”, skriver Ilia Shumailov och kollegor i Natur. Med andra ord, de går av stapeln och tenderar att producera nonsens. Att mata något med sin egen effluvia leder till atrofi. Vem skulle ha trott?

Shumailov förklarade för mig att varje gång en modell tränas på syntetisk data, tappar den medvetenheten om den långa svansen av “minoritetsdata” som den ursprungligen tränades på (sällsynta ord, ovanliga fakta etc). Kunskapens bredd urholkas och ersätts av endast de mest troliga datapunkterna – LLM:er är kärnan i sofistikerade textförutsägande maskiner. Så när din ursprungliga, digitala data redan är partisk – väldigt tung på engelska, till stor del USA-centrerad och full av opålitliga foruminlägg – kommer denna fördom bara att upprepas.

Om syntetisk, AI-producerad data är otillräcklig för att förbättra modellerna kommer de att behöva något annat. Detta gäller särskilt som oro sprids att de mycket hyllade modellerna kommer att sluta kunna förbättras innan de någonsin har blivit så användbara. Ledande nystartade investeringsföretag Sequoia har visat att AI-företag kommer att behöva fylla ett intäktsgap på 500 miljarder dollar i slutet av detta år för att hålla investerarna nöjda. Ordet maskiner kanske är hungrig; huvudstaden bakom dem har också en aptit.

OpenAIMicrosofts protektorat för biljoner dollar bakom ChatGPT, undertecknade nyligen licensavtal – potentiellt värt hundratals miljoner dollar – med många av världens främsta medieorganisationer, från News Corp till Financial Times.

Men det är inte bara en fråga om att samla på sig mer originella ord. Dessa företag behöver den typ av text som modellen kommer att försöka efterlikna, inte bara absorbera.

Det är där mänskliga kommentatorer kommer in.

jagn Fritz Langs klassiska film från 1927 Metropolden forntida kanaanitiska gudomen Moloch reinkarneras som en omättlig industriell maskin. Det är en teknik som fungerar för oss, i motsats till att arbeta för oss. Fabriksarbetare svarar på dess ständigt växande krav genom att göra utfall mot dess urtavlor och dra i spakarna. Men de kan inte hänga med. Maskinen väser och exploderar. Vi ser sedan arbetarna avstå från att äta och gå rakt in i Molochs ugnsmynning.

När jag först tog rollen som AI-annotator, eller mer exakt som “senior datakvalitetsspecialist”, var jag mycket medveten om ironin i min situation. Stora språkmodeller var tänkta att automatisera författarjobb. Ju bättre de blev genom vårt arbete, desto snabbare skulle våra karriärer avta. Och så där stod jag och matade vår egen Moloch.

Faktum är att om det är något som dessa modeller kan åstadkomma ganska bra, är det den typ av digital copywriting som många frilansskribenter utför för att betala räkningarna. Att skriva en SEO-blogg om “sakernas internet” kanske inte kräver mycket forskning, stolthet eller skicklighet; men det brukar löna sig mycket bättre än poesi.

Att arbeta för ett AI-företag som författare var därför lite som att få veta att du skulle få besök av Dracula, och istället för att springa för kullarna stannade du inne och dukade. Men vår förstörare är generös, lönen tillräcklig för att rättfärdiga alienationen. Om vår sektor höll på att gå upp i rök, kan vi lika gärna bli höga av ångorna.

Och däri ligger den ultimata ironin. Här är ett nytt ekonomiskt fenomen som belönar skrivandet, som uppmuntrar det, som verkligen värdesätter det; allt samtidigt som man anser att det är en belastning, ett problem som ska lösas, en ineffektivitet som ska automatiseras bort. Det är som att få betalt för att skriva i sand, att viska hemligheter i en smörskiva. Även om våra ord kunde göra en buckla, skulle vi aldrig kunna känna igen det.

Men kanske är det dumt att vara dyrbar för ett så prosaiskt hantverk. Hur många människor förtjänar att göra en rejäl buckla, trots allt?

François Cholleten bästsäljande läroboksförfattare i datavetenskap och skaparen av Keras utbildningsbibliotek (som tillhandahåller byggstenar för forskare att skapa sina egna modeller för djupinlärning), berättade för mig att han uppskattar att det är “förmodligen cirka 20 000 personer anställda heltid som bara skapar kommenterade data att utbilda stora språkmodeller”. Utan manuellt mänskligt arbete säger han att modellernas produktion skulle vara “riktigt, riktigt dålig”.

Målet med anteckningsarbetet som jag och andra utför är att ge exempel på guldstandard för modellen att lära av och efterlikna. Det är ett steg upp från det slags anteckningsarbete vi alla har gjort tidigare, även omedvetet. Om du någonsin har ställts inför ett “captcha”-problem som ber dig att bevisa att du inte är en robot – t.ex. “välj alla brickor med bilder av ett trafikljus” – gjorde du faktiskt obetalt arbete för en maskingenom att hjälpa till att lära den att “se”.

När jag var student minns jag att jag upprepade ord som “vänster” och “höger” i min bärbara dator ett par timmar i sträck, för att hjälpa utvecklarna av en självkörande bil. Efter några timmar att ha fått betalt per tillfredsställande vokal leverans, och inte ens kommit i närheten av minimilönen, gav jag upp.

Dagens roller är olika och är en avgörande del av LLM-utvecklingen. Alex Manthey, datachef på Contextual AI, är en av dem som anställer skribenter för att förbättra sina modeller. Hon berättade för Observatör att praktiken är “uppdragskritisk”, eftersom du “behöver människor i slingan för att säkerställa [the model’s output] är välsmakande för slutanvändaren”. Den mänskliga beröringen lönar sig. Det finns en “anledning till varför alla företag spenderar så mycket tid och otroliga mängder pengar på att få detta att hända”, säger hon.

Enligt både Chollet och Manthey har anställning inom sektorn nyligen gått bort från kontroversiellt lågavlönat arbete i utvecklingsländer till mer specialiserade, högavlönade roller. När modellerna blir bättre på att skriva, ökar kvaliteten på träningsdata de behöver. Högre löner följer. Flera fjärranteckningsroller kommer att betala författare uppemot £30 i timmen. Tredjepartsleverantörer av anteckningar som Scale AI (värderad till 14 miljarder USD) drar också nytta av denna brist på utbildningsdata av hög kvalitet.

Utdrag från aktuella jobbannonser i Storbritannien för AI-anteckningsarbete ger en ledtråd om vilka uppgifter som är involverade: “skapa svar som kommer att utgöra “rösten” för framtida AI”; “ge feedback för att lära AI-modeller att bli mer användbara, exakta och säkrare”; “skriv tydliga, koncisa, faktamässigt och grammatiskt korrekta svar”; “coacha en AI-modell genom att bedöma kvaliteten på AI-genererat skrivande, granska arbetet hos andra skrivande utvärderare och skapa originella svar på uppmaningar.” Om chatbots kan låtsas skriva som människor kan vi också låtsas skriva som chatbots.

Men kommer denna process att fortsätta? Kommer människor bara för alltid att skriva orden som AI-modeller behöver för att kunna utföra mänskliga jobb? Motverkar inte det syftet med hela företaget? Medan en av de centrala metoderna som ligger till grund för modellerna är känd som RLHF (förstärkande lärande från mänsklig feedback), är det oklart hur många utanför fältet som förstår att den “hemliga såsen” bakom dessa berömda modeller bygger på vanligt gammalt mänskligt arbete.

Om teknikföretag kan kasta enorma summor pengar på att anställa författare för att skapa bättre utbildningsdata, ifrågasätter det lite hur “konstgjorda” nuvarande AI:er verkligen är.

De stora teknikföretagen har inte varit “så tydliga alls” om den här processen, säger Chollet, som förväntar sig att investeringar i AI (och därför anteckningsbudgetar) kommer att “rätta till” inom en snar framtid. Manthey föreslår att investerare förmodligen kommer att ifrågasätta den “stora posten” som tas upp av “rejäla databudgetar”, som täcker både licensiering och mänskliga kommentarer.

Om de nuvarande modellerna inte kan riskera att få slut på nya ord att träna på, så kanske vi som författare aldrig får slut på arbete. Men tekniken pirrar. Bättre modeller, med olika tekniker och effektivare utbildningsbehov, kan dyka upp. Nästa generation av annotatorer kommer att behöva vara bättre än AI, oavsett vilken färdighet den behöver för att behärska nästa: teoretisk fysik, kanske? Medicinsk diagnos?

Att knäcka språk är i bästa fall ett mellanmål. Våra ord kommer bara att vara tillfälligt bränsle.