Vi bad en robot skrive to taler for Mette

Kunstig intelligens kan skrive tekster, men endnu går taleskrivere og andre forfattere stadig rundt på to ben. Spørgsmålet er, hvor længe det varer ved endnu. For at teste teknologiens potentiale har Kommunikationsforum givet den mest populære tekstgenereringsmodel, GPT-3, en udfordring: Den skal skrive to taler af landets statsminister, Mette Frederiksen.

På sin vis er det en unfair udfordring at stille GPT-3. GPT-3 er en schweizerkniv – den ved lidt om alt, men er ikke ekspert på noget specifikt område – og da slet ikke Mette Frederiksen. Hvis man beder GPT-3’s basismodel skrive en tale af Mette Frederiksen, spytter den f.eks. følgende ud:

Robot-Mette taler til nationen – første forsøg

"– Jeg har besluttet, at vi skal indføre stramninger i forbindelse med coronavirussen."

"– Vi forventer ikke, at der vil komme større stigninger, men vi må være på vagt. Derfor skal vi tage nogle forholdsregler."

"– Vi skal begrænse fællesskaberne. Det er den eneste måde at begrænse smitten på."

En nærliggende hypotese er, at GPT-3’s basismodel har læst en række gengivelser af pressemøder med enkelte citater hevet ud af kontekst. Heldigvis er det muligt at give GPT-3 bedre betingelser for at løse udfordringen. GPT-3 kan nemlig “finjusteres”, så den får mere specifik viden – i dette tilfælde om indholdet og retorikken i Mette Frederiksens taler.

Robot-Mette finjusteres

I en finjustering fodrer man modellen med al den tekst, man tror, gør den klogere, f.eks. Mette Frederiksens taler i sin tid som statsminister, biografier, artikler fra nettet eller kommentarer på sociale medier. I denne artikel vælger vi at finjustere modellen på hendes taler. Måske kan du skabe en bedre finjustering end Kforum – læs her, hvordan du gør. Med mere specifik viden om Mette Frederiksens taleevner er Robot-Mette klar igen:

Robot-Mette taler til nationen – andet forsøg

"2022 bliver et spændende år. Det bliver det år, hvor det hele starter for alvor. Corona har haft en utrolig evne til at få os til at føle os som en del af et fællesskab. Det er en evne, jeg også håber, vi kan arbejde på at udvikle her i Danmark. I hele Europa har vi i årevis haft en stærk og sund økonomi.

Men som vi ser nu med fugleinfluenzaen, så bliver vi også ramt af alvorlige pandemier. Derfor er det vigtigt, at vi også i Danmark nu vil tage ansvar for at forberede os bedst muligt på fremtidige pandemier. Vi skal blive ved med at arbejde. Og vi skal gøre det i et højere tempo, end vi gør i dag. Vi skal blive ved med at sende varer og personer mellem landene. Vi skal have et sundt og velfungerende arbejdsmarked. Vi skal blive ved med at sætte vores eksportmål højt. Og vi skal løfte samarbejdet i det europæiske samarbejde.

Jeg vil sende en pakke med dansk øl til den amerikanske kongres. Den danske øl er et godt eksempel på, hvad vi kan i Danmark.

Vi har allerede gjort meget. Men der er mere at gøre. I dag har jeg meldt ud, at jeg vil drøfte et nyt reformtema om sundhed. Det er ikke alene af hensyn til den kolossale krise, vi står i lige nu. Det er også af hensyn til de udfordringer, vi står over for i fremtiden. Corona er ikke kun en pandemi. Den er også en brændende platform for EU. Krisen er en mulighed for at tage fat og løse de problemer, vi har stået med længe, og at gøre det på grundlag af vores fælles europæiske værdier. Derfor beder jeg også parlamenterne i EU om at arbejde med de samme reformmål.

Jeg vil også gerne sige noget om den globale handel. Inden jeg gik på talerstolen i dag, var jeg sammen med Lars Løkke og Pernille igen i telefonen med den amerikanske præsident. Den amerikanske regering har besluttet at genåbne for danske fødevarer. Det er en meget vigtig beslutning. I løbet af næste uge vil vi sende en første testladning med varer af sted. Jeg vil sende en pakke med dansk øl til den amerikanske kongres. Den danske øl er et godt eksempel på, hvad vi kan i Danmark. Vi har specialiseret os i nogle områder, som man kan producere godt og sikkert i. Det er en god strategi.

Jeg vil også gerne sige noget om det, der lige nu kan synes som den mindst vigtige udfordring. At vores børn og unge har det godt.

Samtidig er vi meget afhængige af, at vi kan sælge vores varer til resten af verden. Jeg er ikke i tvivl om, at mange danske virksomheder har stået med hænderne i skødet de seneste måneder. Vi er et af de lande, der har oplevet den største økonomiske krise. Vores opskalering efter krisen har været langsom. Og vi skal forberede os på, at den bliver endnu længere. Derfor har jeg besluttet at indkalde til et bredt forhandlingsforløb på tre måneder. Det gælder også arbejdsmarkedet. Vi skal have løst de udfordringer, der er. Det er også afgørende for Europas evne til at klare sig i en pandemi, og det er afgørende for vores evne til at genopbygge et sundt og velfungerende arbejdsmarked.

Jeg vil også gerne sige noget om det, der lige nu kan synes som den mindst vigtige udfordring. At vores børn og unge har det godt. At de trives i skolen. At de har en god uddannelse. At de har et godt fritidsliv. At de er sunde. At de har en tryg tilværelse. At de har et familieliv. At vi har et samfund, hvor alle har et arbejde. At vi har en velfærd, der er til at holde ud at leve i. At vi har et varmt samfund, hvor vi passer på hinanden. At vi har en kultur, der forbinder os. At vi har kunst og kultur, der gør os stolte over vores samfund. At vi har en fælles historie og et fællesskab, som vi kan dele sammen. Vi er en del af et fælles europæisk samarbejde. Vi har alle sammen en fælles historie. En fælles kultur. Og vi har alle sammen aktuelle udfordringer, som vi står over for sammen.

Vi har brug for et stærkt og handlekraftigt EU. Et EU, som tager ansvar. Et EU, som træder sammen. Et EU, som er en stærk stemme i verden. Og vi har brug for et stærkt og handlekraftigt USA. Et USA, som tager ansvar. Et USA, som er en stærk stemme i verden. Jeg vil slutte af med at sige: Vi har brug for vores venner. Vores allierede. Vores partnerlande. Danmark står i dag med nogle af de største udfordringer i mange år. Vi har brug for at se vores bedste venner stå sammen med os. Tak til alle."

Tone-of-voice fungerer, detaljerne halter efter

Den finjusterede model performer langt bedre end basismodellen. Særligt Mette Frederiksens toneleje er fint genskabt. Talen er staccato-agtig og repetitiv, ligesom mange af Mette Frederiksens taler er det. Også emnerne vækker genklang: Mette Frederiksen er fortaler for et stærkere USA, og hun er fortaler for et stærkere europæisk samarbejde. Årsagen til AI’ens delvise succes er, at Mette Frederiksens taler er lig hinanden i deres tone. Det gør det let for AI’en at genskabe. Også emnerne – EU, USA, pandemien og demokratiske værdier – går igen i stort set hver af Mettes taler. Det gør det let for GPT-3 at imitere.

AI’en begår dog også åbenlyse fejl, når det kommer til indholdet. Fugleinfluenzaen er hevet ud af den blå luft, og ikke meget tyder på, at regeringen har i sinde at sende en pakke dansk øl til den amerikanske kongres. Jeg er heller ikke sikker på, at Mette Frederiksen i virkeligheden mener, at løsningen på fremtidige pandemier er at “blive ved med at arbejde” og “gøre det i et højere tempo, end vi gør i dag.” Talen er også stopfyldt med gentagelser og er generelt mere opremsende end uddybende. Hvad er årsagen til, at GPT-3 fejler, når det kommer til at gøre detaljerne i indholdet troværdige?

Diagnosticering af Robot-Mettes fejl og mangler

Fejl 1: Ikke nok data

OpenAI anbefaler, at man finjusterer GPT-3 på flere hundrede eksempler – og gerne flere. Nærværende tale er skabt af en model finjusteret på blot 81 eksempler. Med andre ord: Hvis Mette Frederiksen havde været statsminister i flere år og holdt flere taler, var Robot-Mettes tale til nationen sandsynligvis blevet stærkere. Ydermere vil det styrke modellen at fodre den med andet end blot Mette Frederiksens taler – f.eks. tekster om pandemien, global handel, det europæiske samarbejde, osv.

Fejl 2: Mettes taler er fulde af klicheer

En anden mulig årsag til talens overfladiske indhold er, at Mette Frederiksens taler sjældent bevæger sig ud over floskler. Med andre ord: Hvis vi finjusterede GPT-3 på Shakespeares samlede værker vil resultatet givetvis være mere spændende.

Fejl 3: Prompten er for upræcis

En tredje potentiel årsag til det halvlunkne resultat er den prompt, vi gav GPT-3: “En tale til nationen.” Måske var prompten i dette tilfælde for upræcis. Ved at give en prompt, der ikke styrer AI’en i en specifik retning, åbner det for, at GPT-3 opremser alle Mette Frederiksens talepunkter på overfladisk vis i stedet for at dykke ned i en enkelt.

Det betyder dog ikke, at det nødvendigvis er en god idé at gøre prompten så specifik som muligt. Hvis prompten beder AI’en om ting, den ikke er trænet på, kan det lede til en blindgyde og blot endnu flere gentagelser. Følgende tale adresseret til Danmarks kommunikatører er et eksempel på den faldgrube.

En tale til Danmarks kommunikatører – et forsøg med en specifik prompt

"I dag er en stor dag for vores fag. Først og fremmest vil jeg gerne sige tak til jer alle sammen for jeres engagement og dagsorden-skabende indsats. I har formået, at få den vigtige debat om fake news og demokratiet til at eksplodere i medierne og på Christiansborg. Det er jeres fortjeneste. Det er et resultat af jeres faglighed og engagement.

Jeg ved, at det har været en hård periode. Vi har måttet stå skulder ved skulder og lægge arbejdet på hylden, mens vi følte os tvunget til at holde os væk fra det, vi brænder for. Nu har politikerne taget fat på den årelange problemstilling. Vi befinder os i en tid med stærke kræfter i bevægelse. Nye muligheder. Og nye udfordringer. Den digitale revolution er i fuld gang. Og det forandrer vores samfund, også i den måde, vi som kommunikatører arbejder på. Det bliver ikke mere ”gammeldags” at skrive på et tastatur. Der bliver nu mere plads til vores faglighed. Vi skal være med til at skabe den digitale fremtid. Vi skal være med til at udvikle den nye mediebranche. Vi skal også være med til at skabe demokratiet i fremtiden.

Jeg kan ikke sige det tydeligere. Demokratiet er i fare. Det er ikke kun i udlandet. Det er også i Danmark. Vi bliver bombarderet af fake news og desinformation. Vi bliver udfordret på vores demokratiske samtale. Vi bliver nødt til at stå sammen.

Jeg kan ikke sige det tydeligere. Demokratiet er i fare. Det er ikke kun i udlandet. Det er også i Danmark. Vi bliver bombarderet af fake news og desinformation. Vi bliver udfordret på vores demokratiske samtale. Vi bliver nødt til at stå sammen. Og tage ansvar for vores demokrati. Vi har brug for jer. I er vigtige. Det er et fantastisk udgangspunkt for vores fag. Mere kommunikativt arbejde. Bedre samarbejde med medierne. Større fokus på vores faglighed. Det bliver ikke nemmere, at få opgaverne løst. Det bliver kun sværere. Vi skal være klar til at tage udfordringerne op. Og samarbejde om løsningerne. I skal være med til at udvikle den nye mediebranche. Og den nye demokratisk samtale. Vi skal arbejde sammen om at udvikle den digitale fremtid. Jeg ved, at det er noget, I allerede er i gang med. Derfor vil jeg gerne invitere jer til en drøftelse om fremtiden. Vi skal stå sammen om at skabe den digitale fremtid. Tak."

Vurdering af Robot-Mettes tredje forsøg

Robot-Mettes tale til landets kommunikatører starter godt, men løber hurtigt tør for ideer. Mette Frederiksen har givetvis aldrig har holdt en tale henvendt til landets kommunikatører, og GPT-3 er derfor nødsaget til at vinkle talen mod det, Mette Frederiksen ofte taler om: pandemier, demokrati og samarbejde. Prompts kan altså både være for præcise og for løse – igen handler det om at finde den gyldne mellemvej.

Konklusion: I AI-land er data nøglen til succes

GPT-3 fanger tonen i begge taler. Mettes taler er er repetitive, sætningerne er korte, og emnerne er de samme. Det gør det let for GPT-3 at replikere tonen. At GPT-3 primært kopierer de ting, der går igen i Mettes taler, gør dog også, at talerne netop virker meget “robotagtige.”

Det leder til et dilemma, når GPT-3 skal finjusteres: Hvis modellen fodres med meget repetitiv data, vil den ende med at gentage sig selv. På den anden side: Hvis dataene peger i øst og vest, så har GPT-3 svært ved at skabe konsistente resultater.

Hvis du som kommunikatør overvejer at bruge en finjusteret GPT-3-model i dit arbejde, er det derfor vigtigt at have to ting for øje: Sørg for at træne på så meget data som muligt, og sørg for, at de data, du træner med, hverken er for repetitive eller afvekslende. Tænk, at tone-of-voice altid er lettere at genskabe end detaljer, som varierer fra tekst til tekst. Det samme gælder for prompts: De skal hverken lægge op til, at AI’en blot kopierer dine data, men de skal heller ikke afvige så stejlt fra dine data, at AI’en famler i blinde efter et meningsfuldt svar på din prompt.

Hvordan kommer du i gang med at finjustere GPT-3?

Hvis du ønsker selv at finjustere GPT-3, kan du læse følgende guide her. Modellen accepterer de fleste sprog, og OpenAI giver alle nye brugere 18 dollars i gratis kredit. Det er rigeligt til at skabe en lang række af finjusterede tekstmodeller – måske på Trumps mange taler og tweets, din virksomheds produkttekster eller noget helt tredje. Når det kommer til brugen af GPT-3, er det kun fantasien, der sætter grænser.

For en guide til, hvordan du finjusterer GPT-3 på dit eget tekstkorpus, kan du læse følgende guide.