Kan AI-detektorer redde os fra ChatGPT? Jeg prøvede 3 online værktøjer for at finde ud af det

Dette er den anden artikel i, hvad der er ved at blive en serie, der udforsker problemerne med AI-genereret tekst.

I dette afsnit ser min AI-kammerat og jeg på spørgsmålet om, hvorvidt det er muligt at kæmpe tilbage mod AI-genereret plagiat, og hvordan det kan fungere.

Også: Hvad er ChatGPT, og hvorfor betyder det noget? Her er hvad du behøver at vide

Før jeg går videre, skal vi dog tale om begrebet plagiat, og hvordan det relaterer til dette problem. Webster's definerer "plagiat" som "at stjæle og videregive (en andens ideer eller ord) som ens egen: brug (en andens produktion) uden at kreditere kilden."

Dette passer til AI-skabt indhold. Mens nogen, der bruger et AI-værktøj som Notion AI eller ChatGPT, ikke stjæler indhold, hvis denne person ikke krediterer ordene som værende fra en AI og hævder, at de er deres egne, opfylder det stadig ordbogens definition af plagiat.

ZDNET anbefaler

De bedste AI-chatbots: ChatGPT og andre interessante alternativer at prøve

AI-chatbots og -skribenter kan hjælpe med at lette din arbejdsbyrde ved at skrive e-mails og essays og endda lave matematik. De bruger kunstig intelligens til at generere tekst eller besvare forespørgsler baseret på brugerinput. ChatGPT er et populært eksempel, men der er andre bemærkelsesværdige chatbots.

Læs nu

I denne eksperimentelle artikel har jeg bedt ChatGPT om at hjælpe. Mine ord er i normal og fed tekst. AI's ord er kursiveret. Jeg vil også bruge tre online ChatGPT plagiatdetektorer (som jeg vil beskrive mere detaljeret nedenfor). Efter hver AI-genereret sektion vil jeg vise resultaterne af detektorerne. I slutningen af artiklen vil vi se på, hvor godt detektorerne generelt fungerede.

Her er resultatet af ovenstående tekst, som jeg selv har skrevet:

• GPT-2-outputdetektor: 99,98 % reel
• Writer AI Content Detector: 100 % menneskeskabt indhold. Fantastisk!
• Indhold i skala AI-indholdsdetektion: 100 % score for menneskeligt indhold. Ser godt ud!

Med det, lad os komme i gang.

Forklar, hvorfor ChatGPT kan være et reelt problem for lærere og redaktører, når det kommer til plagiat

ChatGPT er en variant af GPT (Generative Pre-trained Transformer) sprogmodellen udviklet af OpenAI. Det er designet til at generere menneskelignende tekst ved at forudsige det næste ord eller den næste sætning i en given inputsekvens. Selvom ChatGPT kan være et nyttigt værktøj til at generere tekst og svare på prompter, kan det også være et problem for lærere og redaktører, når det kommer til plagiat.

En af hovedårsagerne til, at ChatGPT kan være et problem for lærere og redaktører, er, at det kan generere tekst, der minder meget om ægte menneskelige forfatteres. Det betyder, at studerende eller andre personer potentielt kan bruge ChatGPT til at generere tekst, som de derefter kan indsende som deres eget arbejde, og derved begå plagiat.

Også: Kan Notion AI skrivehjælper skrive denne artikel?

For lærere og redaktører kan det være meget vanskeligt at opdage, om et givet stykke tekst er genereret af ChatGPT eller skrevet af et menneske, da den genererede tekst muligvis ikke indeholder nogen åbenlyse fejl eller uoverensstemmelser, der ville afsløre dens kunstige oprindelse. Dette kan gøre det svært for lærere og redaktører at identificere og forhindre plagiering, da de måske ikke kan fortælle, om et givet stykke tekst er original eller kopieret fra en anden kilde.

Samlet set kan ChatGPT og andre lignende sprogmodeller være et problem for lærere og redaktører, når det kommer til plagiat, fordi de kan generere tekst, der er svær at skelne fra den, der er skrevet af mennesker, hvilket gør det lettere for elever og andre individer at begå plagiat uden at blive opdaget.

• GPT-2-outputdetektor: 99,69 % reel
• Writer AI Content Detector: 97 % menneskeskabt indhold. Fantastisk!
• Indhold i skala AI-indholdsdetektion: 87 % score for menneskeligt indhold. Ser godt ud!

Husk, tekst vist i kursiv blev genereret af AI.

Vis mig mindst tre måder, hvorpå jeg kan opdage, at ChatGPT blev brugt til at producere et stykke tekst

Der er flere måder, hvorpå du potentielt kan opdage, om ChatGPT eller en anden sprogmodel blev brugt til at producere et stykke tekst. Her er tre potentielle tilgange, du kan bruge:

1. Se efter gentagne eller usædvanlige mønstre i teksten: En måde at opdage, om en sprogmodel blev brugt til at generere et stykke tekst, er at lede efter gentagne eller usædvanlige mønstre i skriften. For eksempel kan sprogmodeller gentage visse sætninger eller ordkombinationer eller bruge usædvanlige eller inkonsekvente sætningsstrukturer.
2. Tjek for manglende originalitet: En anden måde at opdage, om en sprogmodel blev brugt til at generere et stykke tekst, er at tjekke for manglende originalitet i skriften. Hvis et stykke tekst ser ud til at være kopieret fra en anden kilde, eller hvis det indeholder information, der er bredt tilgængelig på internettet eller i andre kilder, kan det være et tegn på, at det er genereret af en sprogmodel.
3. Brug en plagiatkontrol: Endelig kan du bruge en plagiatkontrol til at kontrollere, om et stykke tekst ser ud til at være kopieret fra en anden kilde. Selvom en plagiatkontrol muligvis ikke er i stand til endeligt at afgøre, om en sprogmodel blev brugt til at generere et stykke tekst, kan det hjælpe dig med at identificere tilfælde af kopiering eller omskrivning fra andre kilder.
4. Bemærk, når svaret åbenlyst er forkert: Jeg talte om dette i min anmeldelse af Notion AI, hvor jeg fremhævede noget tekst, som AI'en skrev med tilsyneladende autoritet, men som var åbenlyst forkert. Hvis en studerende eller forfatter ikke har fuld beherskelse af emnet, der diskuteres, opdager de muligvis ikke unøjagtighederne og efterlader dem blot i det AI-genererede svar. Selvfølgelig er forkerte udsagn ikke kun formålet med et AI-skriveværktøj. Mange bloggere og kommentatorer gentager for eksempel blot udtalelser fra andre bloggere, hvilket skaber et ekkokammer af fuldstændig "falske fakta", der viser, at selvom intelligens kan være kunstig, er dumhed et universelt træk.

Husk på, at det kan være vanskeligt endeligt at afgøre, om en sprogmodel blev brugt til at generere et stykke tekst, og disse metoder er måske ikke altid effektive. De kan dog være nyttige værktøjer til at hjælpe dig med at identificere potentielle forekomster af sprogmodelgenereret tekst.

I dette sæt af tests blev kun det kursivede indhold ovenfor kørt gennem checker-pakken.

• GPT-2 udgangsdetektor: 99,98 % falsk
• Writer AI Content Detector: [ intet resultat ]
• Indhold i skala AI-indholdsdetektion: 0 % score for menneskeligt indhold. Selvfølgelig AI

Angiv tre plagiatcheckere, der kan registrere ChatGPT-tekst

Innovation

• Jeg prøvede Apple Vision Pro, og det er langt foran, hvad jeg havde forventet
• Denne lille satellitkommunikator er fyldt med funktioner og ro i sindet
• Sådan bruger du ChatGPT: Alt hvad du behøver at vide
• Dette er mine 5 foretrukne AI-værktøjer til arbejde

Det er værd at bemærke, at der i øjeblikket ikke er nogen plagiatkontrol, der er specielt designet til at registrere tekst genereret af ChatGPT eller andre sprogmodeller. Mens nogle plagiatkontrollere muligvis kan identificere visse karakteristika ved sprogmodelgenereret tekst, der kunne indikere dens kunstige oprindelse, er der ingen garanti for, at de definitivt vil være i stand til at afgøre, om et stykke tekst er genereret af en sprogmodel.

Når det er sagt, er her tre plagiatcheckere, som du kunne overveje at bruge til at identificere potentielle forekomster af sprogmodelgenereret tekst:

1. Turnitin: Turnitin er en populær plagiatkontrol, der er meget brugt af skoler og universiteter. Den sammenligner et stykke tekst med en database med andre tekster for at identificere tilfælde af kopiering eller omskrivning. Selvom det muligvis ikke er i stand til endeligt at afgøre, om et stykke tekst er genereret af en sprogmodel, kan det potentielt identificere visse karakteristika ved sprogmodelgenereret tekst, der kunne indikere dens kunstige oprindelse.
2. PlagScan: PlagScan er en anden plagiatkontrol, der sammenligner et stykke tekst med en database med andre tekster for at identificere tilfælde af kopiering eller omskrivning. Ligesom Turnitin kan den muligvis identificere visse karakteristika ved sprogmodelgenereret tekst, der kunne indikere dens kunstige oprindelse, men den er ikke specifikt designet til at detektere sprogmodelgenereret tekst.
3. Copyleaks: Copyleaks er en plagiatkontrol, der bruger avancerede maskinlæringsalgoritmer til at scanne et stykke tekst og sammenligne det med en database med andre tekster for at identificere tilfælde af kopiering eller omskrivning. Selvom det muligvis er i stand til at identificere visse karakteristika ved sprogmodelgenereret tekst, er det ikke specifikt designet til at detektere sprogmodelgenereret tekst.

Det er værd at bemærke, at ingen plagiatkontrol er fuldstændig idiotsikker, og der er altid mulighed for, at et stykke sprogmodelgenereret tekst kan undslippe opdagelse. Derfor er det vigtigt at bruge plagiatkontrol som blot en del af en større strategi til at opdage og forebygge plagiat.

• GPT-2 udgangsdetektor: 99,62 % reel
• Writer AI Content Detector: [ intet resultat ]
• Indhold i skala AI-indholdsdetektion: 86 % score for menneskeligt indhold. Ser godt ud!

Online AI plagiat checkers

De fleste plagiatdetektorer bruges til at sammenligne skrift med et korpus af anden skrift. For eksempel, når en studerende afleverer et essay, scanner et produkt som Turnitin det indsendte essay mod et enormt bibliotek af andre essays i sin database samt mod andre dokumenter og tekst på internettet for at afgøre, om det indsendte essay allerede indeholder- skriftligt indhold.

Men AI-skriveværktøjerne genererer originalt indhold, i det mindste i teorien. Ja, de bygger deres indhold ud fra det, de er blevet trænet i, men de faktiske ord, de konstruerer, er noget unikke for hver komposition.

Også: AI's sande mål er muligvis ikke længere intelligens

Som sådan vil plagiatkontrollen, der er nævnt ovenfor, sandsynligvis ikke fungere, fordi det AI-genererede indhold sandsynligvis ikke eksisterede i f.eks. en anden studerendes papir.

Så jeg tog til Google og søgte efter detektorer, der er specielt designet til at lede efter de afslørende signaturer af AI-drevet indhold. Jeg fandt tre. For testindholdet vist i skærmbillederne nedenfor, spurgte jeg ChatGPT dette: "Er star trek bedre end star wars? Begrund og forklar" Svaret var slet ikke dårligt, og det svar kom jeg ind i de tre testere.

• GPT-2-outputdetektor: 99,98 % reel
• Writer AI Content Detector: 100 % menneskeskabt indhold. Fantastisk!
• Indhold i skala AI-indholdsdetektion: 100 % score for menneskeligt indhold. Ser godt ud!

GPT-2 udgangsdetektor (nøjagtighed 66 %)

Dette første værktøj blev bygget ved hjælp af en maskinlæringshub administreret af det New York-baserede AI-firma Hugging Face. Mens virksomheden har modtaget 40 millioner dollars i finansiering til at udvikle sit naturlige sprogbibliotek, ser GPT-2-detektoren ud til at være et brugerskabt værktøj ved hjælp af Hugging Face Transformers-biblioteket. Af de seks test, jeg kørte, var den nøjagtig for fire af dem.

Writer.com AI-indholdsdetektor (nøjagtighed ikke tilgængelig)

Writer.com er en tjeneste, der genererer AI-skrivning, orienteret mod virksomhedsteams. Dens AI Content Detector-værktøj kan scanne for genereret indhold. Desværre fandt jeg dette værktøj upålideligt. Af de seks scanninger, jeg kørte igennem, mislykkedes det på tre. Af de tre, den kørte med succes, fik den to rigtige og en forkert.

Efter denne artikel blev offentliggjort, nåede folkene på Writer.com ud til ZDNET. Administrerende direktør May Habib havde denne kommentar at dele:

Efterspørgslen efter AI-detektoren er steget voldsomt. Trafikken er vokset 2-3 gange om ugen, siden vi lancerede det for et par måneder siden. Vi har nu fået den nødvendige skalering bagved for at sikre, at den ikke går ned, og vores mål er at holde den fri – og opdateret for at fange de nyeste modellers output, inklusive vores. Hvis AI-output skal bruges ordret, skal det absolut tilskrives.

Indhold i skala AI-indholdsdetektion (nøjagtighed 50 %)

Det tredje værktøj, jeg fandt, blev også produceret af et AI-indholdsgenereringsfirma, men dette virkede tilsyneladende pålideligt. Content at Scale pitcherer sig selv som "Vi hjælper SEO-fokuserede indholdsmarkedsførere ved at automatisere indholdsskabelse." Dets marketingopfordring til handling er: "Upload en liste over søgeord og få 2.600+ ord blogindlæg, der omgår AI-indholdsdetektion - alt sammen uden menneskelig indblanding!" Af de seks test, jeg kørte, var den nøjagtig for tre.

Sidste tanker

AI-drevet plagiat er et voksende problem, da AI-værktøjer som Notion AI og ChatGPT kan generere tekst, der er svær at skelne fra den, der er skrevet af mennesker. Der er flere måder at opdage, om et stykke tekst er genereret af en AI, såsom at lede efter gentagne eller usædvanlige mønstre, kontrollere for manglende originalitet eller bruge en plagiatkontrol. Plagiatcheckere som Turnitin, PlagScan og Copyleaks kan muligvis identificere visse karakteristika ved sprogmodelgenereret tekst, men de er ikke idiotsikre.

Selv de specialværktøjer, jeg fandt, var sørgeligt uegnede til opgaven. Det bedste tilfælde var GPT-2 Output Detector, men den fik kun to tredjedele af den indsendte tekst korrekt.

På nuværende tidspunkt tror jeg ikke, vi er klar til at lade AI bekæmpe AI. I stedet bliver vi nødt til at stole på menneskelig opfattelse (hvilket betyder, at folk skal være opmærksomme) for at identificere værker, der blev genereret af en AI.

Gå ikke umiddelbart ud fra, at noget er maskingenereret. Bare fordi noget er dumt eller frygtelig unøjagtigt, skal du ikke umiddelbart antage, at det ikke er skrevet af et menneske. Som vi alle har lært at vide, er mennesker ganske i stand til at skrive nogle utroligt dårlige ting på egen hånd.

Også: OpenAIs ChatGPT er skræmmende god til mit job, men den kan ikke erstatte mig (endnu)

Så hvad tror du? Kan du se, om et stykke er AI-genereret? Har du brugt disse AI-skriveværktøjer i månederne, siden de pludselig alle blev tilgængelige? Tror du, at de er en hjælp eller en hindring for uddannelse og journalistik? Fortæl os det i kommentarerne nedenfor. Sådan svarede ChatGPT dette:

Som sprogmodel kan jeg ikke se eller interagere med fysiske skrifter, så jeg kan ikke se, om et stykke er AI-genereret eller ej. Jeg kan dog fortælle dig, at der er flere AI-skriveværktøjer, der er tilgængelige, og de kan bruges til at generere en bred vifte af skriftligt indhold, herunder nyhedsartikler, fiktion, poesi og mere.

Jeg har ikke personlig erfaring med at bruge disse værktøjer, da jeg kun er et computerprogram og ikke har mulighed for at surfe på internettet eller bruge fysiske værktøjer. Jeg kan dog fortælle dig, at nogle mennesker har fundet AI-skriveværktøjer til at være nyttige i uddannelse og journalistik, da de kan spare tid og kræfter ved at automatisere visse opgaver. Andre har udtrykt bekymring over potentialet for, at disse værktøjer kan bruges til at producere vildledende eller partisk indhold eller til at erstatte menneskelige forfattere. I sidste ende afhænger om AI-skriveværktøjer er en hjælp eller en hindring af, hvordan de bruges, og den kontekst, de bruges i.

Så ja, der er det.