Laboratoarele AI și-au construit reputația pe benchmarkuri, acele teste prezentate ca neutre și precise, menite să arate ce produs este mai bun decât altul. Irene Solaiman, directoarea pentru politici publice de la Hugging Face, spune însă că metodele din spatele acestor evaluări sunt complicate și încă se maturizează, iar testele trebuie să ajungă la o știință mai coerentă dacă industria vrea să se bazeze pe ele în viitor. Ideea evaluatorilor integrați, adică observatori terți plasați în interiorul organizațiilor AI și prezentați drept neutri, a prins teren în ultimele luni, pe fondul unei serii de incidente de siguranță care au alimentat temerile legate de pericolele tehnologiei. Solaiman a discutat subiectul la TechCrunch Disrupt, unde a avertizat că acest mecanism nu va fi o rezolvare ușoară, iar încrederea în rezultatele publicate astăzi trebuie privită cu prudență.

Ce a spus Hugging Face pe scena TechCrunch Disrupt

Solaiman a pus problema încrederii în termeni practici, nu abstracți. Ea a spus că o mare parte a răspunsului ține de posibilitatea de a reproduce rezultatul unei evaluări și de nivelul de acces pe care evaluatorul îl are la modelul propriu zis. Aici, a adăugat ea, modelele cu ponderi deschise contează foarte mult, pentru că fără acces direct la model verificarea independentă rămâne limitată.

Reproductibilitatea rezultatelor a rămas multă vreme una dintre cele mai sensibile laturi ale testării, iar subiectul provoacă în continuare dezbateri aprinse în industrie. Dincolo de validitatea fiecărui test luat separat, apare și întrebarea legată de comparație, adică felul în care o evaluare se raportează la celelalte evaluări disponibile pe piață.

Potrivit reprezentantei Hugging Face, evaluările formează o știință în evoluție, iar specialiștii nu știu încă să le compare coerent între ele. Testele își pierd destul de repede eficiența, iar ecosistemul din jurul lor nu este nici pe departe atât de dezvoltat pe cât ar avea nevoie industria. Solaiman a vorbit despre o foame reală pentru un ecosistem de evaluatori integrați, însă a atras atenția că tipul de competențe care face un evaluator eficient pentru fiecare sarcină are nevoie de mult mai multă standardizare.

Cu alte cuvinte, entuziasmul pentru observatori terți a apărut mai repede decât criteriile clare prin care îi alegem și îi măsurăm. Iar fără aceste criterii, eticheta de neutru rămâne mai mult o promisiune decât o garanție verificabilă.

De ce evaluatorii integrați nu garantează neutralitatea

Hugging Face însăși a fost ținta unuia dintre incidentele de siguranță care au alimentat dezbaterea, ceea ce face poziția companiei cu atât mai relevantă. În loc de reglementare guvernamentală directă pentru identificarea și reducerea riscurilor, laboratoarele au împins soluția terților observatori, prezentată ca o cale mai flexibilă și mai rapidă.

Totuși, persistă îndoieli serioase legate de cât de neutri sau de eficienți vor fi în practică acești evaluatori. Criticii se întreabă cine îi verifică pe verificatori și după ce standarde, cât timp metodologia rămâne fragmentată și rezultatele greu de reprodus.

Cazul Anthropic și Accenture: cât de calificat e un evaluator extern

Cel mai citat exemplu negativ vine de la Anthropic, care a decis să angajeze compania de consultanță Accenture ca prim evaluator extern. Decizia a provocat reacții puternice, iar o parte dintre comentatori au ironizat ideea că o firmă de consultanță ar avea calificarea necesară pentru o astfel de misiune tehnică. Episodul arată exact fisura semnalată de Solaiman: cererea de evaluatori a explodat, însă calificările cerute pentru fiecare tip de sarcină nu sunt standardizate și nici transparente.

Când oricine poate primi eticheta de observator neutru, valoarea reală a evaluării scade, iar publicul rămâne cu impresia de control fără un control efectiv. De aici și avertismentul că integrarea unor terți în interiorul laboratoarelor nu rezolvă automat problema încrederii, ci o mută la un alt nivel.

Testele se mută de la model la harness și la agenți

Un alt punct important ridicat la TechCrunch Disrupt privește obiectul evaluării. Testele nu mai vizează doar modelul izolat, ci întregul sistem din jurul lui, inclusiv harnessul și agentul complet. Prin harness se înțelege unealta prin care utilizatorul accesează modelul, iar acest strat are o influență majoră asupra performanței.

Solaiman a explicat că un model mai slab, cuplat cu un harness mai bun, poate depăși cu ușurință un model de frontieră servit printr-o unealtă mediocră. Asta înseamnă că un scor mare la benchmark poate reflecta calitatea infrastructurii din jur, nu neapărat superioritatea modelului testat. Pentru utilizatorii care plătesc pentru experiența completă a unui agent, distincția contează enorm, pentru că ei resimt sistemul ca un tot unitar.

Sursă: TechCrunch | Geek Chronicles