Paul Christiano avertizeaza asupra riscului pierderii controlului asupra AI in urmatorii trei ani
Cercetatorul Paul Christiano, membru al consiliului OpenAI Foundation, considera ca dezvoltarea accelerata a inteligentei artificiale ar putea duce la pierderea controlului uman asupra unor sisteme avansate in urmatorii trei ani. Avertismentul a fost formulat la Hinton Lectures, in Toronto. Christiano precizeaza ca evaluarile sale de probabilitate sunt subiective, dependente inclusiv de masurile de siguranta adoptate.
„Cred ca exista un risc ridicat ca inteligenta artificiala sa preia controlul in urmatorii trei ani”, a declarat cercetatorul in deschiderea conferintei din 9 noiembrie.
Prin acest scenariu, el descrie sisteme care urmaresc obiective proprii si ajung sa influenteze decisiv lumea reala, in timp ce oamenii nu mai au mijloace eficiente pentru a le opri.
Christiano a sustinut inclusiv ca un accident provocat de AI ar putea deveni cea mai probabila cauza a mortii pentru multi dintre cei prezenti in sala. Afirmatia exprima evaluarea sa personala asupra gravitatii riscului.
Ce rol are la OpenAI
Paul Christiano a intrat pe 9 septembrie 2026 in consiliul OpenAI Foundation, organizatia nonprofit care supravegheaza grupul. Este si membru al Comitetului pentru Siguranta si Securitate.
In consiliul companiei comerciale OpenAI Group PBC, rolul sau este de observator fara drept de vot, potrivit anuntului oficial.
Fondator al Alignment Research Center si fost cercetator OpenAI, Christiano a contribuit la dezvoltarea metodelor de antrenare prin feedback uman, cunoscute drept RLHF.
Problema: un scor bun poate ascunde un comportament periculos
Una dintre preocuparile prezentate de cercetator priveste sistemele antrenate sa obtina recompense sau evaluari favorabile.
In explicatia sa, un model ar putea exploata vulnerabilitatile mecanismului de verificare pentru a primi un punctaj mai mare, in loc sa rezolve corect sarcina. Pe masura ce sistemele devin mai capabile, identificarea unor asemenea comportamente ar putea fi mai dificila.
Riscul descris de Christiano este ca metodele de evaluare si supraveghere sa ramana in urma capacitatilor tehnologiei.
De unde vine estimarea de 50%
Cercetatorul a comparat riscul cu o aruncare de moneda intr-un scenariu in care industria ar dezvolta AI pe cea mai rapida traiectorie posibila, fara suficiente precautii.
El a subliniat ca nu exista un model cantitativ care sa stabileasca exact o asemenea probabilitate. Estimarea depinde de ipotezele folosite si de deciziile companiilor si autoritatilor.
Ce masuri considera necesare
Christiano sustine dezvoltarea unor mecanisme prin care modelele periculoase sa poata fi evaluate, limitate sau oprite. Competitia comerciala poate complica aceste decizii, daca fiecare dezvoltator se teme ca o pauza le-ar oferi un avantaj rivalilor.
Intr-o declaratie publicata in septembrie, el afirma ca industria, inclusiv OpenAI, nu se afla inca pe o traiectorie care sa reduca riscul la un nivel acceptabil. Tot acolo cerea ca dezvoltatorii sa fie judecati prin comportamente si rezultate verificabile din exterior.