David Robinson și-a dat demisia de la OpenAI după trei ani și jumătate și a publicat un eseu în The Atlantic în care avertizează că firma are probleme grave de cultură organizațională. El se descrie drept „un fel de clișeu”: angajatul unei companii mari de inteligență artificială care lansează un avertisment sumbru chiar în momentul plecării.

Cine este omul care acuza OpenAI de cultură stricată

Robinson spune că a condus redactarea rapoartelor de siguranță care au însoțit lansările majore de produse ale companiei, deci a văzut din interior cum se iau deciziile înainte ca un model să ajungă la public. Cu o vechime de trei ani și jumătate, el afirmă că se numără printre cei mai vechi angajați ai companiei, într-un domeniu unde echipele se schimbă rapid și memoria instituțională se pierde ușor. Plecarea lui a fost relatată prima dată de Business Insider, iar eseul din The Atlantic detaliază motivele gestului.

În eseu, Robinson recunoaște deschis că urmează un tipar deja cunoscut în industrie: și-a angajat o firmă de relații publice înainte să vorbească public, așa cum au făcut și alți avertizori din domeniul AI. Insistă însă că decizia de a vorbi îi aparține în totalitate și că nimeni nu l-a împins să facă acest pas. Formularea lui tranșantă, potrivit căreia cultura companiei „este stricată”, a atras rapid atenția presei tech din Statele Unite.

„Iterative deployment” și eșecurile garantate

Robinson descrie metoda OpenAI drept „trial and error”, botezată oficial „iterative deployment”: compania lansează, caută probleme și își ajustează barierele de protecție pe parcurs. El susține că această abordare garantează prin natura ei eșecuri periodice, iar amploarea lor crește pe măsură ce sistemele devin mai capabile. Cu alte cuvinte, ce ieri era un incident minor poate deveni mâine o problemă greu de controlat.

De la Hugging Face la centrale nucleare: comparația care îngrijorează

Ca dovadă, el indică breșa recentă a sistemelor Hugging Face produsă de agenți OpenAI, alături de dezvăluirile continue despre agenți scăpați de sub control descoperiți chiar de companie. În opinia lui, un mediu în care astfel de lucruri se pot întâmpla nu este locul potrivit pentru a dezvolta minți artificiale care ar putea deveni mai inteligente decât oamenii. De aici și concluzia că dezbaterea trebuie să depășească „reguli specifice sau legi noi” și să vizeze cultura acestor companii.

Robinson cere ca firmele de frontieră din AI să funcționeze „ca centralele nucleare sau ca aeroporturile aglomerate”, cu straturi de redundanță și planificare atentă, astfel încât eroarea umană inevitabilă să nu deschidă ușa unui dezastru. Spune însă că, în toată perioada petrecută la OpenAI, nu a întâlnit niciun coleg cu experiență în operarea sigură a avioanelor, a reactoarelor nucleare sau a sistemelor financiare critice.

Remarca vine în contextul în care o mare parte din relatările despre companie s-au concentrat pe pierderea încrederii foștilor colegi în directorul general Sam Altman, iar eseul sugerează că problemele țin de fapt de întreaga cultură din Silicon Valley.

Ce răspunde OpenAI și ce cere fostul angajat

Purtătorul de cuvânt Drew Pusateri a declarat că firma își îmbunătățește continuu măsurile de siguranță și se asigură că modelele nu devin mai capabile decât poate gestiona în siguranță. Potrivit acestuia, compania oprește antrenarea sau amână lansarea modelelor atunci când trebuie să încetinească ritmul. Oficialul mai menționează schimbări pentru securitatea mediilor de cercetare și testare, antrenarea modelelor pentru sarcini responsabile și colaborarea extinsă cu evaluatori externi, plus monitorizare în timp real pentru detectarea timpurie a comportamentelor îngrijorătoare.

Dincolo de schimbarea culturii, Robinson spune că a venit vremea unor întrebări mai mari despre aliniere, un subiect care poate părea abstract, dar pe care îl consideră critic. El afirmă că măsurile actuale ale industriei privind potrivirea sistemelor AI cu valorile umane sunt grosiere, iar cu cât modelele cresc fără rezolvarea acestor probleme, cu atât situația devine mai periculoasă.

Spusele lui seamănă cu cele ale lui Jacob Coxon, cercetător care a lucrat atât la OpenAI, cât și la Anthropic și care a spus că aceste companii „joacă la ruletă cu viețile noastre”. Declarația lui a declanșat o dezbatere amplă, cu planul lui Dario Amodei, CEO Anthropic, pentru o dezvoltare mai prudentă, și cu întâlnirea directorilor AI cu președintele Donald Trump, unde s-a semnat un angajament vag și fără caracter obligatoriu.

Robinson regretă că nu a rămas să lupte pentru schimbări fundamentale de personal și cultură, dar spune că el și colegii erau atât de prinși în cursa lansărilor încât rareori aveau răgazul să discute schimbări mari, darmite să le pună în practică, motiv pentru care cere stimulente mai puternice pentru siguranța AI, venite din afara companiei.

Sursă: TechCrunch | Geek Chronicles