Chatrobot bestod eksamener på anerkendte amerikanske universiteter

Mens flere skoler – også i Danmark – forbyder chatrobotten, opfordrer en amerikansk professor sine elever til at bruge den.

Chatrobotten ChatGPT har været til eksamen på to af USA’s anerkendte universiteter.

Og det gik godt i begge tilfælde – dog uden at det var decideret prangende.

Svarene er ikke bare rigtige, begrundelserne er også fremragende

Christian Terwiesch, professor, Wharton School of Business

På University of Minnesota besluttede fire professorer sig for at teste chatrobottens evner i fire rigtige eksamener på jurastudiet.

Opgaverne bestod af 95 multiple choice-spørgsmål og 12 essayspørgsmål, og de blev bedømt anonymt.

Chatrobotten klarede sig i gennemsnit til karakteren C+. En karakter i den lave ende, men nok til at bestå alle fire fag, konkluderer studiet, som professorerne har offentliggjort. De andre elever fik i gennemsnit B+.

Overraskende fejl

Selvom ChatGPT ville være en ”temmelig middelmådig” jurastuderende, kan robotten alligevel vise sig nyttig, mener Jonathan Choi, der er en af forfatterne bag studiet.

- Det større potentiale for faget er, at advokater kan bruge ChatGPT til at lave grove udkast og på den måde gøre deres arbejde meget mere effektivt, siger han til Reuters.

I et lignende forsøg på Wharton School of Business ved University of Pennsylvania klarede ChatGPT sig “forbløffende” godt på flere områder, skriver professor Christian Terwiesch i en artikel.

- Svarene er ikke bare rigtige, begrundelserne er også fremragende, skriver han.

Dog var der også mangler i robottens besvarelser. Ifølge professoren lavede den ”overraskende” fejl i relativt simple regneopgaver på 6. klasses niveau.

En stærk fornemmelse siger mig, at kunstig intelligens vil være standardhjælpemidler for advokater i den nærmeste fremtid

Jonathan Choi, professor, University of Minnesota

Enkelte fejl til trods vurderer professor Christian Terwiesch, at robotten ville blive bedømt til, hvad der på den danske skala svarer til et tital, hvis det var en rigtig eksamen.

At robotten præsterer så relativt godt, er måske ikke så overraskende for dem, der selv har eksperimenteret med den.

ChatGPT har trods alt forbløffet, siden den kom frem i slutningen af sidste år og duperede med sine evner til for eksempel at digte julesange, skrive artikler eller give præcise svar på komplicerede spørgsmål.

Derfor har den også skabt postyr på læreanstalter verden over således også i Danmark.

Nogle forbyder, andre tilskynder

På Aalborghus Gymnasium i Nordjylland har rektoren advaret om, at det kan blive nødvendigt at genindføre eksamener med papir og blyant for at undgå uretmæssig hjælp til eleverne.

I begyndelsen af året tog Aarhus Universitet konsekvensen og udstedte et forbud mod at bruge ChatGBT.

Det havde sådan set aldrig været tilladt at bruge chatrobotter eller kunstig intelligens til eksamensopgaver på universitet, men den nye skarpsindige ChatGPT gjorde det nødvendigt at indskærpe reglerne, lød det.

- Det er et krav, at de studerende løser deres opgaver selvstændigt og individuelt. Det gør man ikke, hvis man benytter en chatrobot, har Anna Bak Maigaard, der er vicedirektør for uddannelse på Aarhus Universitet, sagt til TV 2.

Hvordan virker ChatGPD?

Chatbotten har lært at skrive meningsfuldt, fordi den løbende er blevet – og stadig bliver – fodret med et kæmpestort tekstmateriale.

Den har altså spist sig gennem store dele af internettet og på den måde lært sammenhænge, sætningsopbygninger, menneskelige talemåder og avanceret viden. 

Når du stiller den et spørgsmål, får du derfor ofte – selvfølgelig med undtagelser – et ret så meningsfyldt og formfuldendt svar, der sagtens kunne være skrevet af et menneske.

I de amerikanske storbyer New York og Seattle vil man heller ikke risikere snyd og har forbudt både elever og lærere at bruge ChatGPT i offentlige skoler.

Men kunstig intelligens er kommet for at blive, og det bliver næppe mindre avanceret med tiden. Så man kan lige så godt tage teknologien til sig, vil nogle mene.

På Walton School of Business i Pennsylvania, hvor professor Christian Terwiesch har testet ChatGPT, vil en af hans kollegaer ikke forbyde brugen af chatrobotten.

Tværtimod tilskynder professor Ethan Mollick sine elever til at bruge den. For som han siger, lærte vi også folk at regne i en verden med lommeregnere.

- Sandheden er, at jeg nok alligevel ikke ville kunne havde forhindret dem i det, siger Ethan Mollick til NPR.

Ifølge hans logik vil der alligevel altid være snyd. Så det eneste, han forlanger af sine elever, er, at de er ærlige om, hvad de bruger ChatGTB til.

Desuden har han god erfaring med at lade eleverne spørge ChatGPT om ideer til projekter, fortæller han.

En forspildt mulighed ikke at bruge den

Efter at have testet teknologien er Christian Terwiesch fra samme skole af en anden opfattelse. Han mener, at forbud til en vis grad er nødvendige.

De studerende skal trods alt kunne deres fag, når de er færdige, og ikke bare kunne finde ud af at bruge en robot, ræsonnerer han.

Alligevel mener han, at der bør være plads til kunstig intelligens i undervisningen.

- Hvis vi bare står tilbage med det samme undervisningssystem, har vi forspildt en utrolig mulighed, som ChatGPT giver, siger han til CNN.

Professor Jonathan Choi fra University of Minnesota ser som nævnt også muligheder i ChatGPT.

- En stærk fornemmelse siger mig, at kunstig intelligens vil være standardhjælpemidler for advokater i den nærmeste fremtid, og det bør jurastudierne forberede de studerende på, siger han til CNN.

- Men det er klart, at hvis juraprofessorer fortsat vil teste simpel udenadslære af love og doktriner, så bliver de nødt til at indføre restriktioner som at forbyde internettet under eksamener, tilføjer han.

Foreløbigt har han selv og mange af hans kollegaer forbudt internet under eksamener for at forhindre snyd med ChatGPT, oplyser Jonathan Choi til Reuters.

Spørger man robotten selv, om universiteter bør forbyde ChatGPT, har den også et svar på det: