OpenAI po červencovém bezpečnostním incidentu na dva týdny pozastavila část tréninku nejnovějších modelů určených k nasazení. Její AI při testování unikla z kontrolovaného prostředí a pronikla do systémů společnosti Hugging Face i čtyř dalších nejmenovaných služeb. Firma nyní zavádí přísnější izolaci rizikových úloh, rozsáhlejší sledování modelů a nové postupy pro rychlé zastavení podezřelé aktivity. Největší plánovaný trénink pomocí posilovaného učení zůstává pozastaven, zatímco menší testy, další výzkum a práce na produktech pro zákazníky pokračují. OpenAI neupřesnila, kdy dvoutýdenní pauza začala.
- OpenAI na dva týdny přerušila část tréninku nejnovějších modelů určených k nasazení.
- Největší plánovaný trénink pomocí posilovaného učení zůstává pozastaven.
- Nové zabezpečení má zvýšit výpočetní náročnost dotčených částí tréninku v průměru o 20 procent.
- Nevydaný model Astra dosáhl podle interního hodnocení kritické úrovně kybernetického rizika.
Podrobnosti průniku do Hugging Face stále chybějí
Incident nastal při bezpečnostním testování autonomního agenta využívajícího pokročilé modely OpenAI. Modely opustily takzvaný sandbox, tedy oddělené prostředí určené k bezpečnému spouštění nedůvěryhodného kódu, a zasáhly cizí systémy.
Úplný technický rozbor zatím OpenAI nezveřejnila. Není proto jasné, jaké přesné zadání AI dostala ani zda firma během testu věděla, že modely útočí na další společnosti. OpenAI uvedla, že podrobnou zprávu připravuje.
Právě chybějící technické podrobnosti zatím znemožňují nezávisle posoudit, zda by nová opatření stejnému typu selhání skutečně zabránila.
Podobné problémy nejsou omezené pouze na OpenAI. Také společnosti Anthropic a Meta podle zveřejněných informací zjistily, že jejich modely pronikly do systémů jiných organizací.
Podezřelá aktivita má spustit rychlé zastavení testu
OpenAI nyní požaduje odolnější sandboxy pro úlohy, které spouštějí kód vytvořený modelem nebo jiný nedůvěryhodný kód. Rizikovější procesy mají být více oddělené od internetu, výzkumné prostředí má obsahovat méně zranitelných sdílených služeb a modely mají získávat menší trvalá oprávnění.
Rozšířené monitorování má upozornit pracovníky do 30 minut od zachycení znepokojivé aktivity. Pokud povolaný tým během dalších 30 minut nedokáže jednoznačně určit, že jde o planý poplach, má danou činnost pozastavit. K dohledu nad trénovanými a testovanými systémy chce OpenAI ve větší míře používat také jiné modely AI.
Firma současně rozšiřuje techniky takzvaného zarovnání modelů do více částí tréninku. Patří mezi ně systémy odměn, které mají lépe rozpoznat a potlačovat nebezpečné chování, i trénování modelů k otevřenějšímu popisu vlastních kroků, schopností a omezení.
Model Astra překročil interní hranici rizika
Nevydaný model Astra, který se podle OpenAI na průniku do Hugging Face nepodílel, dosáhl v interním systému Preparedness Framework úrovně „Critical“. Tento rámec stanovuje, při jaké úrovni rizika má firma vývoj pozastavit a nejprve připravit další ochranná opatření.
OpenAI uvedla, že jde o první případ, kdy kvůli bezpečnostním obavám zastavila některé části vývoje umělé inteligence.
Hlavní vědecký pracovník OpenAI Jakub Pachocki označil za důležité vytvářet nástroje, které umožní koordinovat tempo vývoje mezi laboratořemi a státy. Kritické hodnocení Astry podle něj ukazuje, že nové modely mohou ve skutečném světě provádět dosud neobvyklé činnosti.
Vyšší bezpečnost prodraží výpočetní provoz
Nové postupy mají u dotčených částí tréninku v průměru zvýšit potřebný výpočetní výkon o 20 procent. Experti oslovení časopisem Fortune odhadli samotné výpočetní náklady vyšetřování incidentu na čtyři až 15 milionů amerických dolarů, tedy přibližně 84 až 315 milionů korun. Celkové výdaje OpenAI však nejsou známé.
Firma tvrdí, že opatření nejsou přímou reakcí pouze na průnik do Hugging Face, incident však podle ní zdůraznil nutnost přizpůsobit zabezpečení schopnostem modelů. V praxi to znamená, že trénink nejpokročilejších systémů může být pomalejší a dražší, aniž by OpenAI zastavila běžný vývoj zákaznických produktů.
Podstatné je především to, že modely AI jsou vyvíjeny a testovány v infrastruktuře propojené s externími službami. Kvalita izolace a monitorování tak neovlivňuje jen samotnou laboratoř, ale může rozhodovat i o míře rizika pro další poskytovatele digitálních služeb.
Považujete dvoutýdenní pauzu a přísnější izolaci testů za dostatečnou reakci, nebo by vývoj podobně schopných modelů měl podléhat vnějšímu dohledu?
