Láthatatlan statisztikai vízjelet kaphatnak a ChatGPT és a Codex EU-s szövegei

A Nemzeti Kibervédelmi Intézet október 6-i, a BleepingComputer beszámolójára épülő hírében leírt textGrain nem rejtett karaktereket csempész a szövegbe. Ehelyett finoman módosítja, hogy a modell milyen szavakat és tokeneket választ. Az így kialakuló statisztikai mintázatot emberi szem nem veszi észre, egy megfelelő detektor viszont később felismerheti. Az OpenAI szerint a vízjel sem olvasás közben, sem a szöveg kimásolásakor nem látható, vagyis a vágólapra helyezett szöveg sem árulja el magát.

A megoldás ugyanakkor nem tévedhetetlen. Az OpenAI tesztjei szerint már a szöveg mérsékelt átfogalmazása vagy szinonimák használata is jelentősen rontja a felismerést. Egy kutatás szerint 400 tokenes szövegeknél a szavak negyedének cseréje 92%-ról akár 17%-ra csökkentette a felismerési arányt.

A rövidebb, lefordított vagy erősen szerkesztett szövegeknél szintén kevésbé megbízható az eljárás. Így a vízjel hiánya nem feltétlenül bizonyítja, hogy egy szöveget ember írt. A detektálás arról sem árul el semmit, ki készítette a tartalmat, vagy milyen promptot (utasítást) adott a modellnek.

A felismerő eszközt kezdetben csak jóváhagyott kutatók és szakmai szervezetek használhatják, így egy tanár, szerkesztő vagy munkáltató egyelőre nem tud vele saját maga szöveget ellenőrizni. Az OpenAI API-ját használó fejlesztők világszerte opcionálisan kapcsolhatják be a funkciót a saját alkalmazásaikban. A forrás nem közli, hogyan lehet hozzáférést kérni a detektorhoz, és azt sem, mikor válhat szélesebb körben elérhetővé.