Ce s-a întâmplat
Recent, Anthropic, dezvoltatorul modelului de inteligență artificială Claude, a anunțat implementarea unor „watermark-uri” (marcaje) invizibile în textul generat de sistemele sale. Această măsură a fost luată pentru a se conforma noilor reglementări din cadrul AI Act al Uniunii Europene, care impun identificarea clară a conținutului generat de AI. Cu toate acestea, la doar câteva ore după anunț, comunitatea de programatori a început să publice metode prin care aceste marcaje pot fi identificate și eliminate cu ușurință, demonstrând fragilitatea soluțiilor actuale de marcare digitală.
Context tehnologic
Marcarea invizibilă în textul generat de AI nu funcționează ca un logo pe o imagine. În schimb, se bazează pe manipularea statistică a modului în care modelul alege cuvintele (token-urile). De exemplu, AI-ul ar putea fi programat să aleagă mai frecvent anumite sinonime în secvențe specifice, creând un model matematic detectabil de un software specializat, dar imperceptibil pentru ochiul uman. Această tehnică se numește „steganografie digitală”. Vulnerabilitatea apare deoarece, odată ce algoritmul de marcare este înțeles, un utilizator poate folosi un alt model AI mai mic pentru a reformula textul sau poate introduce modificări manuale minore care distrug modelul statistic al watermark-ului.
De ce contează
Această breșă este crucială deoarece pune sub semnul întrebării capacitatea companiilor de tehnologie de a impune responsabilitatea în era dezinformării. Dacă marcajele menite să prevină deepfake-urile textuale sau plagiatul academic pot fi eliminate prin scripturi simple, atunci eficacitatea reglementărilor precum EU AI Act este sever diminuată. Pentru industria AI, acest lucru indică faptul că soluțiile pur tehnice ar putea fi insuficiente fără un cadru legal și etic robust care să penalizeze eliminarea deliberată a acestor identificatori.
Impact
Pe termen scurt, ne putem aștepta la un „joc de-a șoarecele și pisica” între dezvoltatorii de AI și comunitatea de open-source. Anthropic și competitorii săi vor încerca probabil să creeze metode de marcare mai complexe, în timp ce instrumentele de „curățare” a textului vor deveni mai accesibile. Pe termen mediu, lipsa unor watermark-uri sigure ar putea duce la o erodare a încrederii în informația online, făcând aproape imposibilă distingerea între un raport scris de un expert uman și unul generat de un algoritm cu intenții malițioase.
Ce urmează
Tendința viitoare se va muta probabil de la marcarea conținutului la „semnarea” sursei. În loc să încercăm să marcăm textul în sine, am putea vedea o adopție mai largă a standardelor de proveniență a conținutului (cum este C2PA pentru imagini), unde identitatea creatorului sau a instrumentului este verificată prin metode criptografice la punctul de origine. De asemenea, autoritățile de reglementare ar putea impune cerințe mai stricte nu doar pentru furnizorii de modele, ci și pentru platformele care distribuie conținutul.
Surse: WIRED, Anthropic Technical Blog, EU AI Act Documentation.