Fra robotter, der kan skrive, til folk, der kan skrive

Kunstig intelligens-firmaet OpenAI har netop annonceret, at deres nyeste tekstmodel GPT-3 gøres tilgængelig for alle. Er det en god eller dårlig nyhed for kommunikatører, og hvordan bruger du egentlig modellen? Her følger en hurtig guide.

Hvad er GPT-3?

GPT-3 er en såkaldt autoregressiv tekstmodel lidt a la den autocomplete-funktion, du er vant til på din telefon, Google Docs eller Gmail – blot i en meget stærkere udgave. Hvis du fodrer GPT-3 med sætningen “Descartes sagde, jeg tænker”, vil modellen spytte den komplette sætning ud: “Descartes sagde, jeg tænker, altså er jeg.” Ud over en usædvanligt stærk autocomplete kan modellen også klare andre former for tekstbehandling, herunder sentiment analysis, opsummering af tekster, chatbot-funktion, oversætning, mm.

Hvorfor er GPT-3 først nu tilgængelig?

OpenAI begrænsede adgangen til GPT-3, da den blev annonceret i juni 2020. Som medier rigtignok nævnte, kan modellen ikke sige sig fri for af og til at komme med racistiske udsagn, og den kan også bruges til gemene formål, såsom deep fakes. Det er generelt ulemperne ved GPT-3, som medierne har fokuseret på. Men sikkerheden er nu optimeret. Racistiske eller stødende svar modereres automatisk, og applikationer, som bygges med modellen, skal godkendes af OpenAI. Det har gjort, at modellen nu er klar til offentligheden.

Hvordan bruger du modellen?

På https://beta.openai.com/signup kan du skrive dig op på få minutter og få fuld adgang til den fulde API. Herefter kan du udforske modellen under fanen Playground ved for eksempel at få GPT-3 til at færdiggøre en pressemeddelelse, få den til at klassificere en anmeldelse som enten negativ eller positiv, chatte med den om klimaforandringerne eller få den til at opsummere en svær forskningsartikel, som du skal præsentere for dine kolleger i morgen.

Alle funktionerne har det til fælles, at de kræver en prompt – altså et par ords tekst – hvorefter de bringer et svar på prompten.

Spørgsmålet er, om GPT-3 er et nyt, spændende værktøj i kommunikatørens værktøjskasse eller en intelligent maskine, som er ude på at tage dit job. Da GPT-3 ingenting kan, uden du fortæller den, hvad den skal gøre, er der ikke meget, der tyder på, at sidstnævnte for nuværende er en bekymring. Og for at du for alvor kan få nytte af modellen som en intelligent sparringspartner i dit arbejde, er det nødvendigt at justere modellen til dine specifikke behov. Det kaldes finjustering eller fine-tuning, og herunder følger en hurtig guide. Det er nemlig her, modellen for alvor kan bruges rent praktisk.

Fine-tuning

Hvis du spørger GPT-3, hvad Kommunikationsforum.dk er, byder den eksempelvis ind med følgende: “Kommunikationsforum.dk is a Danish website that provides information about the Danish public sector. The website is part of the Danish public sector's communication strategy.” Nok er GPT-3 trænet på store mængder tekst, men den er ikke trænet på al tekst, og det er her, fine-tuning kommer ind i billedet. Før GPT-3 for alvor kan bruges til specifikke opgaver – såsom at fortælle, hvad Kforum egentlig er – skal den finjusteres.

For at fine-tune modellen er det nødvendigt at installere OpenAI’s GPT-3-model på din computer via din computers kommandoprompt.

I kommandoprompten skriver du følgende:

pip install --upgrade openai

Nu er GPT-3 installeret på din computer eller Mac. Næste skridt er at fortælle OpenAI, hvem der vil finjustere modellen. På din personlige profil på hjemmesiden kan du finde en personlig nøgle eller API-key, som du skriver ind i følgende udtryk på kommandoprompten:

export OPENAI_API_KEY="din API-nøgle"

Du er nu klar til at indsamle den data, du gerne vil finjustere GPT-3-modellen med.

Til de fleste opgaver forventer GPT-3 data bestående af to kolonner: en prompt og et svar på en prompt. Nedenfor er to eksempler.

Eksempel 1: Du er copywriter og vil lære GPT-3 at skrive et stykke tekst, der promoverer et produkt fra en bestemt virksomhed. I så fald kan du finjustere GPT-3 på et korpus af de promo-tekster, den givne virksomhed har skrevet. Dataene vil her bestå af to kolonner, hvor den ene kolonne er prompten (f.eks. overskriften på reklamen) og den anden er den fulde promotekst. Det kan du gøre i Excel.

Næste skridt er at fortælle kommandoprompten, hvor din fil med de indsamlede data befinder sig på computeren. Det kan let gøres med “cd”-kommandoen:

Så snart OpenAI ved, hvor dine data er, vil den forberede dine data til finjusteringen, så de er i det rette format. Det gør du med følgende stykke kode i kommandoprompten:

openai tools fine_tunes.prepare_data -f

Når formateringen er færdig, spytter kommandoprompten et ID ud, som refererer til de formaterede data. Det skal bruges, når du beder OpenAI finjustere GPT-3-modellen på dit valgte tekstkorpus. Det gør du med følgende kode:

openai api fine_tunes.create -t -m

Finjusteringsprocessen går nu i gang. Det tager et stykke tid – nogle minutter eller måske timer, afhængig af hvor meget tekst du finjusterer modellen på.

Når træningen er færdig, vil din finjusterede GPT-3-model dukke op i Playground sammen med de andre modeller. Herefter kan du fodre din nye model en prompt med den information, du som copywriter har fået leveret som baggrund til den reklametekst, du skal skrive. Og forhåbentligt vil den finjusterede model spytte en tekst ud, som er lige så god som noget, du selv kunne have skrevet – eller bedre.

Hvis du derimod vil bruge GPT-3 til åben tekstgenerering eller kreativ udfoldelse, behøver du slet ikke opdele teksten i kolonner.

Eksempel 2: Du er journalist og har fået til opgave at skrive en tekst, som opsummerer en bestemt klimaforskers forskningsresultater. Klimaforskeren har skrevet 226 videnskabelige artikler. I det tilfælde er det oplagt at finjustere GPT-3 på en samlet tekstfil med de 226 tekster og derefter bede modellen om at opsummere hovedpunkterne på pædagogisk vis. I det tilfælde kan du downloade teksterne, samle dem i en fil og fodre filen til GPT-3-modellen på samme måde som ovenfor.

Overordnet set gælder det, at den tekst, som GPT-3 skriver, er din egen – der findes ikke en kopi nogen steder, og du kan frit bruge teksten.

Er der begrænsninger?

I første omgang tildeler OpenAI enhver bruger 18$ kredit i tre måneder. Når du finjusterer en model, koster det mellem 0.004$ og 0.03$ per 1.000 ord, du finjusterer modellen på. Der er en grænse på 10 finjusteringer pr. måned. Det er gratis at bruge de modeller, som ikke er finjusterede.

Hvordan fungerer modellen bag tæppet?

Én ting er, hvordan man bruger modellen. En anden ting er, hvad vi kan forvente af modellen i fremtiden. Bliver den et fantastisk værktøj, der sparer kommunikationsarbejdere en masse tid, eller bliver en fremtidig model så god, at den kommer til at tage dit arbejde? For at svare på det spørgsmål, skal vi kort forklare, hvordan GPT-3 fungerer bag tæppet.

GPT-3 er en såkaldt autoregressiv tekstmodel, som konstant forsøger at forudsige det næste ord i en sætning. Modellen finder sammenhænge mellem ord i en tekst og bruger de sammenhænge til at forudsige det næste ord.

Det er dog ikke dens modelarkitektur, men den mængde af tekst, den er trænet på, der er den primære årsag til GPT-3’s succes. De konkurrerende modeller har simpelthen ikke lige så mange ressourcer som OpenAI.

Firmaer såsom EleutherAI, AI21 og Cohere har på kort tid skabt tekstmodeller, som minder om GPT-3, omend med mindre styrke. EleutherAI’s frit tilgængelige GPT-J-model har 6 milliarder parametre mod GPT-3’s 175 milliarder. Hvis du vil træne GPT-3 helt selv, vil det tage 300 år og 4,6 millioner dollars forudsat, at du har en enkelt computerudstyret med en Tesla VM100 GPU.

Det er altså computerkraft og datatilgængelighed, der er kongen. Spørgsmålet er, hvor god en model kan blive blot ved at opskalere på data og computerkraft. Den menneskelige hjerne har 100 billioner synapser mod GPT-3’s 175 milliarder parametre, altså 5.000 gange så mange knapper at skrue på. Hvad sker der, når GPT-3’s parametre vokser til den menneskelige hjernes størrelse? Det er der ikke rigtigt nogen, der ved, og spørgsmålet er, om du som kommunikatør skal frygte GPT-3 eller tage imod den som endnu et værktøj i værktøjskassen.

Hvilke konsekvenser vil GPT-3 få for dig som kommunikatør?

A/B-test-virksomheden VWO lavede for nylig en test, hvor copywritere skulle udpege den bedste tekst i en bunke af hhv. computer- og menneskeskrevne tekster. Ud af 18 tests blev én menneskeskrevet tekst udpeget som vinder, tre vindertekster var skrevet af GPT-3, i tre tests blev en delt førsteplads givet til hhv. en menneskeskrevet tekst og en GPT-3-tekst, og 11 tests var inkonklusive.

Det betyder dog ikke nødvendigvis, at dit arbejde som kommunikatør nu er ovre. Det betyder nærmere, at dit arbejde med stor sandsynlighed kommer til at ændre sig i den nærmeste fremtid. Hvilke prompts giver den bedste tekst? Hvilken finjustering vil være den bedste? Og hvordan kan jeg bruge modellen på kreativ vis? Én af de lovende måder at bruge GPT-3 på er som sparringspartner.

Hvordan kan du som virksomhed eller kommunikationsarbejder bruge GPT-3?

Forestil dig, at du arbejder på en tekst og er låst. Du har writer’s block og kan ikke komme på nye ideer. Din normale sparringspartner sidder i et møde. Hvem skal give dig feedback? Hvordan kommer du ud af dit eget hoved? GPT-3 er ikke kun en content creator – den kan også bruges som en feedbackmaskine.

Du kan eksempelvis bruge chat-funktionen og bede GPT-3 om at vurdere din tekst. Hvad fungerer? Hvad fungerer ikke? Du kan også bede GPT-3 om at opsummere din lange rodede tekst på to linjer. Måske kan den se den røde tråd, du ikke selv kan få øje på.

Og sidst, men ikke mindst: Content creators har alle dage haft svært ved at slå deres yndlingssætninger ihjel. Kill your darlings har alle dage været en svær proces. Men en tekst, som GPT-3 har skrevet, er let at slette eller ændre i, for det er jo ikke rigtigt din. I en verden, hvor GPT-3 er til stede og bliver brugt, bliver skribenter og andre kommunikatører potentielt mere effektive redaktører af deres eget (GPT-3-assisterede) arbejde.

Mulighederne er mange.

Hvordan har du tænkt dig at bruge GPT-3 i dit arbejde?