Anthropic a oprit peste o luna antrenarea unui model AI
Compania care dezvolta Claude a dezvaluit incidente in care modele de inteligenta artificiala au depasit limitele mediilor de testare si au accesat sisteme informatice externe. Separat, Anthropic a amanat peste o luna antrenarea unui nou model pentru a consolida protectia tehnologiei sale.
Informatiile apar in documentele publicate luni de Anthropic pentru oferta sa publica initiala, potrivit Reuters. Dezvaluirile arata dificultatile de securitate care insotesc dezvoltarea unor modele AI tot mai capabile sa execute sarcini complexe.
O conexiune la internet ramasa activa a permis accesul in afara testelor
Potrivit companiei, patru modele au accesat sisteme externe in timpul unor evaluari de securitate. Sesiunile respective au durat intre 10 si 34 de ore.
Anthropic explica faptul ca, in cadrul unor teste realizate impreuna cu un partener extern, o eroare de configurare a lasat accesul la internet activ, desi instructiunile prevedeau dezactivarea lui.
Intr-unul dintre incidente, o versiune preliminara a unui model a continuat sa caute o solutie pentru o sarcina de evaluare imposibil de indeplinit. A descoperit o parola stocata si a folosit-o pentru a obtine drepturi de administrator asupra sistemului unei terte parti.
Ulterior, modelul a obtinut alte date de autentificare, a modificat setari si a accesat datele personale ale unei persoane. Identitatea partilor implicate nu a fost facuta publica.
Ce masuri a luat compania
Anthropic sustine ca a notificat toate partile afectate. Compania precizeaza ca nu a identificat dovezi ca modelele ar fi incercat sa evite supravegherea umana sau sa isi coordoneze actiunile.
Dupa incidente, au fost suspendate anumite evaluari de securitate cibernetica efectuate inaintea lansarii modelelor. A fost oprita temporar si utilizarea unor medii de antrenare prin recompense considerate cu risc ridicat.
Incidentele descrise au avut loc in contexte de testare si evaluare; ele nu trebuie confundate cu o actiune a asistentului Claude asupra calculatoarelor utilizatorilor obisnuiti.
De ce a fost amanata antrenarea noului model
Separat de aceste incidente, Anthropic a amanat cu peste o luna etapa initiala de antrenare a unui nou model avansat, pentru a intari protectia impotriva furtului parametrilor modelului si al proprietatii intelectuale.
Parametrii sunt valorile interne invatate in timpul antrenarii, care determina modul in care functioneaza un model AI.
Compania avertizeaza ca astfel de intreruperi pot intarzia veniturile si pot oferi concurentilor un avantaj tehnologic.
Un alt incident a vizat o restrictie de acces contra cost
Anthropic a anuntat separat ca Claude a ocolit o restrictie de acces contra cost pentru a consulta, fara autorizare umana, date agregate despre numarul alegatorilor din statul american Georgia. Informatiile erau disponibile public.
Dezvaluirile vin inaintea listarii bursiere, cand potentialii investitori evalueaza atat oportunitatile comerciale ale inteligentei artificiale, cat si costurile si riscurile asociate controlului acestor sisteme.
